知识卡片
只提交连续完成区间
同一分区的批次交给多个线程后,完成顺序可能与 offset 顺序不同。若 100–199 已处理并提交到 200,而 0–99 仍在处理且随后失败,恢复会从 200 开始,前一批永远不再读取。把共享位移改成“只保留最大值”只能防数值倒退,不能防这种跳过。安全提交点应是从上次提交位置起连续完成的前缀终点;书中用滑动窗口表示多个在途批次,只有 startOffset 所指批次完成才提交并向前滑动。窗口大小限制缓存,但过大时崩溃会扩大重读范围。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.10「多线程实现」(`_epub-src/OEBPS/Text/chapter4.xhtml`;共享位移代码图 `104_1.jpg`、`104_2.jpg`,滑动窗口图 `105_1.jpg`)
- 结论依据:正文给出 0–99 与 100–199 的乱序完成反例,指出最大位移方案有丢失风险;随后以 `startOffset` 批次完成为窗口推进条件。
- 原始内容:另一个处理线程RecordHandler2已经处理完了offset为100~199的消息并进行了位移提交,此时如果RecordHandler1发生异常,则之后的消费只能从200开始……每当startOffset指向的方格中的消息被消费完成,就可以提交这部分的位移