知识卡片

普通读书笔记卡

自动提交不等于处理完成

理解等级:高级

本书所述客户端默认 enable.auto.commit=true,按 auto.commit.interval.ms 的周期提交,默认间隔 5 秒;提交动作在 poll 内部检查并执行,依据的是已拉取的分区进度。若拉取线程 A 把消息交给处理线程 B,而 A 的自动提交已推进到 x+6、B 仍在处理 x+3,B 此时失败,恢复后从已提交位置继续,x+3 起的未完成处理可能被跳过。相反,处理完成后到下一次自动提交前崩溃,会从旧位移重读,产生重复。缩短提交间隔只能缩小重复窗口,还会增加提交频率;它不能证明业务处理已完成。故障风险与 [[提交时机决定语义]] 相连。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.5「位移提交」(源文件:`_epub-src/OEBPS/Text/chapter4.xhtml`;图 3-8 `79_1.jpg`) - 结论依据:原文给出自动提交的默认开关、周期和 `poll` 内检查时机,并以拉取线程与处理线程分离的 `x+3`/`x+6` 例子说明位移领先于业务处理时会漏处理。 - 原始内容:在 Kafka 中默认的消费位移的提交方式是自动提交,这个由消费者客户端参数enable.auto.commit 配置,默认值为 true。……这个定期的周期时间由客户端参数auto.commit.interval.ms配置,默认值为5秒……自动位移提交的动作是在poll()方法的逻辑里完成的