Kafka Offset 怎么提交？自动还是手动？
本文目录
面试怎么回答
Offset 是 Consumer Group 的故障恢复位置，提交值应是下一条要处理的消息。简单同步处理可以使用自动提交，但线程池或外部写入场景更适合关闭自动提交，在业务成功后按 Partition 提交连续完成位置。平时可用 commitAsync 降低阻塞，并在关闭或 Rebalance 前用 commitSync 确认安全点。处理后提交通常是 At-Least-Once，所以数据库写入还要做幂等。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
很多人会回答：
“生产环境关闭自动提交，业务处理完再手动提交，就不会丢消息。”
方向没错，但还不完整。
提交太早可能丢数据，提交太晚会重复消费；多分区、线程池和 Rebalance 又会让“处理完”变得不那么简单。
Offset 的核心不是自动还是手动，而是：
把 Committed Offset 放在真正完成的业务处理边界上，并明确失败恢复时允许重复还是允许丢失。
第一步：区分 Position 和 Committed Offset
Kafka Consumer 里有两个容易混淆的位置。
Position
表示下一次 poll 将要返回的位置。Consumer 拉取到消息后，它会随着 poll 向前推进。
Committed Offset
表示 Consumer Group 持久化的恢复位置。进程重启或 Partition 重新分配后，会从这里继续消费。
如果已经拉取到 Offset 99，并且 99 处理成功，通常提交的是 100，因为提交值表示“下一条要处理的消息”。
已成功处理：Offset 99
应该提交：Offset 100把 99 本身提交上去，会导致恢复后再次读取 99。
第二步：自动提交适合简单同步处理
开启 enable.auto.commit=true 后，Consumer 会按 auto.commit.interval.ms 周期提交 Offset。
如果每次 poll 返回的数据都在当前消费线程内完整处理，并且下一次 poll 前已经处理完，自动提交可以得到较简单的 At-Least-Once 使用方式。
风险出现在业务处理脱离 poll 线程时。
例如 Consumer 拉取一批消息后，立即把任务丢进线程池，然后继续 poll。Position 已经前进，自动提交可能发生，但线程池里的任务还没有真正写入数据库。
此时进程崩溃，重启会从已提交位置继续，未完成任务就可能被跳过。
所以自动提交不是一定会丢，而是它的提交时机很难表达复杂业务完成边界。
第三步：手动提交要按 Partition 管理完成进度
关闭自动提交后，可以在业务处理成功后调用 commitSync 或 commitAsync。
commitSync
同步等待提交结果，错误更容易感知，但会阻塞当前消费线程。
commitAsync
异步提交，吞吐影响较小，但要通过 Callback 记录失败；多次异步提交还要避免旧回调干扰对新进度的判断。
常见做法是平时批量使用异步提交，在关闭或 Rebalance 前使用同步提交确认最终安全位置。
更重要的是按 Partition 记录“连续处理完成”的最大 Offset。某个 Partition 的后续消息先完成，不能跳过前面还在处理的消息直接提交，否则恢复时会丢掉前面的未完成记录。
第四步：提交时机决定交付语义
可以简单理解为：
处理前提交
提交成功后再执行业务。失败时不会重复，但业务没完成也不会再读，属于 At-Most-Once，存在丢数据风险。
处理后提交
业务成功后再提交。业务已经完成但 Offset 还没提交时如果崩溃，恢复后会重复处理，属于常见的 At-Least-Once。
因此手动提交也不能自动解决重复问题，下游仍要用业务主键、事件 ID 或版本号做幂等。
如果要让 Kafka 消费进度和外部数据库写入严格原子化，仅靠普通 Offset 提交做不到。可以根据链路选择 Kafka Transaction、把 Offset 与业务状态写入同一外部事务，或依赖下游幂等达到最终一致。
一个典型场景
比如 Consumer 每次 poll 500 条消息，然后并行提交到线程池，自动提交保持开启。
Offset 很快被提交到下一批位置，但线程池仍有部分任务没写入数据库。此时实例重启，Kafka 从新位置恢复，那些未完成任务不会再被拉取。
监控上 Consumer Lag 很低，看起来消费很健康，但业务表实际少数据。
修复时要关闭自动提交，按 Partition 跟踪连续完成位置；只有业务写入成功后才推进提交，同时对数据库写入做幂等。Rebalance 时先停止接收新任务，处理或妥善放弃在途任务，再提交安全 Offset。
Offset 提交的是恢复点，不是“消息已经被 poll 出来”的证明。