← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 4967

消费位点支持接任恢复

理解等级:中级

记录每个分区的消费位点,让消费者重启或换人后继续读取。位点应该与业务处理完成的定义相配:记录得早可能漏处理,记录得晚可能重放;原书把位点存在ZooKeeper是旧实现选择,不是可靠消费的充分条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大型分布式系统中的应用 · 查看原书依据

      需要定时地将分区消息的消费进度,即Offset记录到ZooKeeper上去,以便在该消费者进行重启或是其他消费者重新接管该消息分区的消息消费后,能够从之前的进度开始继续进行消息的消费。Offset 在ZooKeeper 上的记录由一个专门的节点负责,其节点路径为/consumers/[group_id]/offsets/[topic]/[broker_id-

    参考来源

    - 位置:《从Paxos到Zookeeper:分布式一致性原理与实践》第06章《大型分布式系统中的应用》(来源项目book-sources;源文件:extracted/从Paxos到Zookeeper:分布式一致性原理与实践/_epub-src/OEBPS/Text/Secti0012.xhtml) - 结论依据:原文在“需要定时地将分区消息的消费进度”附近的定义、步骤或案例支撑本卡机制:记录每个分区的消费位点,让消费者重启或换人后继续读取。边界说明区分原书机制与适用条件,不把历史实现当作当前系统的无条件保证。 - 原始内容:需要定时地将分区消息的消费进度,即Offset记录到ZooKeeper上去,以便在该消费者进行重启或是其他消费者重新接管该消息分区的消息消费后,能够从之前的进度开始继续进行消息的消费。Offset 在ZooKeeper 上的记录由一个专门的节点负责,其节点路径为/consumers/[group_id]/offsets/[topic]/[broker_id-