知识卡片

普通读书笔记卡 · 3123.a

消费进度提交的丢失重复权衡

理解等级:高级

消费者若在处理消息前就持久化 Offset,故障后可能跳过尚未处理的消息,形成最多一次效果;若处理成功后才持久化,故障恢复时可能重读已处理消息,形成至少一次效果。因此提交进度与业务处理的先后顺序决定故障窗口;采用后者时,下游操作还需考虑重复处理。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.2.3(源文件:_epub-src/OEBPS/text00028.html) - 结论依据:原文直接对比处理前、处理后持久化 Offset 对应的 at most once 和 at least once 语义。 - 原始内容:Broker与Consumer之间:这取决于Consumer端的实现,目前可做到“at most once”与“at least once”两种语义:处理收到的消息前持久化offset则为“at most once”,而成功处理收到的消息后再持久化offset则为“at least once”。