知识卡片
外存位移配合定位
消费进度也可由应用保存在数据库等外部存储中:每个分区处理完成后保存“下一次要读取的 offset”,消费者获得分区分配时读出该值,再用 seek(partition, offset) 恢复。这样可自行控制位移与业务状态的持久化方式,但必须明确“处理成功、保存外存位移”的一致性边界;仅把位移写到外部,并不会自动保证恰好一次处理。书中给的是伪代码,分区再均衡时如何重新定位还需结合 3.2.8 节核对。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.7「指定位移消费」(`_epub-src/OEBPS/Text/chapter4.xhtml`;代码清单 3-8,图 `91_2.jpg`、`92_1.jpg`)
- 结论依据:正文说明可把消费位移存入数据库或文件系统,下次从外存读取后 `seek()`;示例按分区保存最后已消费 offset + 1。
- 原始内容:消费位移可以保存在任意的存储介质中,例如数据库、文件系统等……在下次消费的时候可以读取存储在数据表中的消费位移并通过seek()方法指向这个具体的位置