知识卡片
Offset与分段索引支持定位
分区日志拆为一组段文件,新消息追加到活动段;索引帮助从逻辑Offset找到相应位置,再顺序读取。Offset是分区中的位置,不是整个集群的统一消息ID,也不能对所有记录用固定长度乘法推算字节地址。消费者记录进度后可重读仍被保留的数据;已经因保留策略删除的数据不因重置Offset而恢复。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式通信 · 查看原书依据
对于某个数据分片来说,在Kafka内部实现时,以一系列被切割成固定大小的文件来存储(参考图6-5)。每当消息生产者产生新消息时,则将其追加到最后一个文件的尾部。同时在内存维护每个文件首个消息Offset组成的有序数组作为索引,其内容指向对应的外部文件。当消费者读取某个消息时,会指定消息对应的Offset及读取内容大小信息,根据索引进行二分查找即可找到对应文件;然后进行换算即可知道要读取内容在文件中的起始位置,Kafka将内容读出后返回给消费者。因为Kafka的消息是存储在外部文件中的,所以天然地具有消息持久化能力,可以配置外部文件的保留期限,将最近一段时期的消息都进行保留;因而消息消费者也可以变换Offset来从对应数据分片读取过期的消息,这样很容易实现消息传递的“至少送达一次”语义。
参考来源
- 位置:《大数据日知录:架构与算法》6(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html)
- 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。
- 原始内容:对于某个数据分片来说,在Kafka内部实现时,以一系列被切割成固定大小的文件来存储(参考图6-5)。每当消息生产者产生新消息时,则将其追加到最后一个文件的尾部。同时在内存维护每个文件首个消息Offset组成的有序数组作为索引,其内容指向对应的外部文件。当消费者读取某个消息时,会指定消息对应的Offset及读取内容大小信息,根据索引进行二分查找即可找到对应文件;然后进行换算即可知道要读取内容在文件中的起始位置,Kafka将内容读出后返回给消费者。因为Kafka的消息是存储在外部文件中的,所以天然地具有消息持久化能力,可以配置外部文件的保留期限,将最近一段时期的消息都进行保留;因而消息消费者也可以变换Offset来从对应数据分片读取过期的消息,这样很容易实现消息传递的“至少送达一次”语义。