知识卡片
消费者偏移量
[[基于日志的消息代理]]中,消费者顺序读分区,偏移量小于当前偏移量的消息都已处理,代理只需定期记录偏移量,不必逐条确认。这等价于单主复制中的日志序列号:从库断线重连后从断点继续,代理相当于主库,消费者相当于从库。日志分段、定期删除旧段,实际构成一个有限的环形缓冲区:6TB 硬盘以 150MB/s 写入约 11 小时写满,实践中通常能保留几天到几周。慢消费者的偏移量若指向已删的段,就会永久错过这些消息。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十一章:流处理
原书出处 · 1 处
- 第十一章:流处理 · 查看原书依据
这里原理完全相同:消息代理表现得像一个主库,而消费者就像一个从库
参考来源
- 位置:《数据密集型应用系统设计》第十一章《流处理》"消费者偏移量""磁盘空间使用"(源文件:_epub-src/ch11_split_002.html)
- 结论依据:原文说明顺序消费单分区使代理只需记录偏移量而非逐条确认、并将其类比为单领导者复制的日志序列号,随后给出6TB硬盘11小时写满的具体计算说明日志本质是磁盘上的大号环形缓冲区,直接支撑本卡片结论。
- 原始内容:这种方法减少了额外簿记开销……这里原理完全相同:消息代理表现得像一个主库,而消费者就像一个从库……因而磁盘可以缓冲11个小时的消息,之后它将开始覆盖旧的消息。