知识卡片

普通读书笔记卡 · 2280.r.6

消费者偏移量

理解等级:未标注

[[基于日志的消息代理]]中,消费者顺序读分区,偏移量小于当前偏移量的消息都已处理,代理只需定期记录偏移量,不必逐条确认。这等价于单主复制中的日志序列号:从库断线重连后从断点继续,代理相当于主库,消费者相当于从库。日志分段、定期删除旧段,实际构成一个有限的环形缓冲区:6TB 硬盘以 150MB/s 写入约 11 小时写满,实践中通常能保留几天到几周。慢消费者的偏移量若指向已删的段,就会永久错过这些消息。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十一章《流处理》"消费者偏移量""磁盘空间使用"(源文件:_epub-src/ch11_split_002.html) - 结论依据:原文说明顺序消费单分区使代理只需记录偏移量而非逐条确认、并将其类比为单领导者复制的日志序列号,随后给出6TB硬盘11小时写满的具体计算说明日志本质是磁盘上的大号环形缓冲区,直接支撑本卡片结论。 - 原始内容:这种方法减少了额外簿记开销……这里原理完全相同:消息代理表现得像一个主库,而消费者就像一个从库……因而磁盘可以缓冲11个小时的消息,之后它将开始覆盖旧的消息。