知识卡片
消费进度提交的丢失重复权衡
消费者若在处理消息前就持久化 Offset,故障后可能跳过尚未处理的消息,形成最多一次效果;若处理成功后才持久化,故障恢复时可能重读已处理消息,形成至少一次效果。因此提交进度与业务处理的先后顺序决定故障窗口;采用后者时,下游操作还需考虑重复处理。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.2.3(源文件:_epub-src/OEBPS/text00028.html)
- 结论依据:原文直接对比处理前、处理后持久化 Offset 对应的 at most once 和 at least once 语义。
- 原始内容:Broker与Consumer之间:这取决于Consumer端的实现,目前可做到“at most once”与“at least once”两种语义:处理收到的消息前持久化offset则为“at most once”,而成功处理收到的消息后再持久化offset则为“at least once”。