← 返回卡片

原书出处

大数据日知录_架构与算法

6 分布式通信

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.099Z

对于某个数据分片来说,在Kafka内部实现时,以一系列被切割成固定大小的文件来存储(参考图6-5)。每当消息生产者产生新消息时,则将其追加到最后一个文件的尾部。同时在内存维护每个文件首个消息Offset组成的有序数组作为索引,其内容指向对应的外部文件。当消费者读取某个消息时,会指定消息对应的Offset及读取内容大小信息,根据索引进行二分查找即可找到对应文件;然后进行换算即可知道要读取内容在文件中的起始位置,Kafka将内容读出后返回给消费者。因为Kafka的消息是存储在外部文件中的,所以天然地具有消息持久化能力,可以配置外部文件的保留期限,将最近一段时期的消息都进行保留;因而消息消费者也可以变换Offset来从对应数据分片读取过期的消息,这样很容易实现消息传递的“至少送达一次”语义。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d