知识卡片
自动提交不等于处理完成
本书所述客户端默认 enable.auto.commit=true,按 auto.commit.interval.ms 的周期提交,默认间隔 5 秒;提交动作在 poll 内部检查并执行,依据的是已拉取的分区进度。若拉取线程 A 把消息交给处理线程 B,而 A 的自动提交已推进到 x+6、B 仍在处理 x+3,B 此时失败,恢复后从已提交位置继续,x+3 起的未完成处理可能被跳过。相反,处理完成后到下一次自动提交前崩溃,会从旧位移重读,产生重复。缩短提交间隔只能缩小重复窗口,还会增加提交频率;它不能证明业务处理已完成。故障风险与 [[提交时机决定语义]] 相连。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.5「位移提交」(源文件:`_epub-src/OEBPS/Text/chapter4.xhtml`;图 3-8 `79_1.jpg`)
- 结论依据:原文给出自动提交的默认开关、周期和 `poll` 内检查时机,并以拉取线程与处理线程分离的 `x+3`/`x+6` 例子说明位移领先于业务处理时会漏处理。
- 原始内容:在 Kafka 中默认的消费位移的提交方式是自动提交,这个由消费者客户端参数enable.auto.commit 配置,默认值为 true。……这个定期的周期时间由客户端参数auto.commit.interval.ms配置,默认值为5秒……自动位移提交的动作是在poll()方法的逻辑里完成的