Kafka作为消息中间件，需要生产者与消费者协同工作。一次完整的消息传递包含以下三个步骤：

1. 生产者将消息发送至Kafka Broker
2. Broker完成消息同步与持久化存储
3. 消费者从Broker拉取并消费消息

Kafka承诺对已提交的消息提供最大限度的持久化保障，但无法做到100%不丢失。为此，Kafka从生产者、Broker集群和消费者三个层面设计了多重保障机制。

生产者保障机制

生产者端的主要风险在于消息发送过程中失败。由于网络问题不可避免，Kafka采用确认机制确保消息最终投递成功。需要注意：

• producer.send(msg)是异步发送，立即返回不代表发送成功
• producer.send(msg).get()是同步等待方式
• 推荐使用producer.send(msg, callback)配合重试机制

关键配置参数：

acks=-1  // 需Leader和Follower都确认，可靠性最高但吞吐最低
retries=3  // 生产者重试次数
retry.backoff.ms=300  // 重试间隔时间

acks参数详解：

• 0：立即返回，吞吐最高但无可靠性保证
• 1：Leader写入即确认，平衡可靠性与吞吐
• -1：需所有ISR副本确认，可靠性最高但吞吐最低

Broker保障机制

集群层面通过以下机制确保可靠性：

1. 持久化存储：消息直接写入磁盘，防止节点宕机丢失
2. ISR复制机制：多副本分布在不同节点，主节点故障时可切换

关键配置参数：

replication.factor >1  // 分区副本数量
min.insync.replicas >1  // ISR最小副本数
unclean.leader.election.enable=false  // 禁止非ISR副本成为Leader

消费者保障机制

消费者需确保：

• 正确处理收到的消息
• 准确管理偏移量
• 建议禁用自动提交，采用手动提交模式：

enable.auto.commit=false

消费者组机制保证当个别消费者故障时，其他成员可继续消费对应分区，通过保存的偏移量实现消息不丢失。