知识卡片
时间索引先查位移
在书中 Kafka 日志分段里,偏移量索引把消息 offset 映射到 .log 文件的物理位置;时间戳索引先把时间映射到 offset。按时间查消息因此要走两步:在时间戳索引中用二分查找不大于目标时间的最近索引项,取得位移;再到偏移量索引中定位不大于该位移的最近位置,从那里顺序读日志,找出满足时间条件的消息。时间索引本身并不直接给文件字节位置。
两种索引都是稀疏的,不保证目标消息恰有索引项。偏移量索引的 offset 单调递增,时间戳索引的时间戳严格递增,使二分逼近成为可能;后续顺序扫描则补足稀疏索引留下的间隔。增大索引密度会多占磁盘和内存,减小密度会增加扫描量。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 12009–13557)
- 结论依据:原文分别定义两种索引的目标、单调顺序、二分返回规则和时间戳到物理位置须再次通过偏移量索引;顺序扫描是稀疏索引定位后的必要步骤,具体检索例见后续 5.3.1–5.3.2 节。
- 原始内容:偏移量索引文件用来建立消息偏移量(offset)到物理地址之间的映射关系……时间戳索引文件则根据指定的时间戳(timestamp)来查找对应的偏移量信息。……时间戳索引文件中的时间戳也保持严格的单调递增……至于要找到对应的物理文件位置还需要根据偏移量索引文件来进行再次定位。