知识卡片

普通读书笔记卡

索引项用相对位移

理解等级:中级

Kafka 偏移量索引项只有 8B:4B 的 relativeOffset 加 4B 的 position。前者是消息绝对 offset 减去本段的 baseOffset,后者是消息在对应 .log 文件中的字节位置。baseOffset 已写在分段文件名里,因此索引项无需为每条消息再存 8B 的绝对 offset。例如本段基准位移为 32、目标消息位移为 35,索引项只需写相对位移 35−32=3。

相对位移的表示范围也是分段滚动条件:待追加消息与 baseOffset 的差超过 Integer.MAX_VALUE 时必须换段。书中偏移量索引的容量还须是 8B 索引项的整数倍;若配置 67B,内部会取不超过它的 64B。这里的 position 是文件内物理位置,不是分区位移。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3.1 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 13557–15012;图 5-8 `194_1.jpg`) - 结论依据:原文和图 5-8 给出两个各 4B 的索引项字段、32→35 的相对位移例子、范围限制以及 67B 向下对齐至 64B 的示例。 - 原始内容:每个索引项占用8个字节,分为两个部分。……relativeOffset:相对偏移量,表示消息相对于baseOffset 的偏移量,占用4 个字节……position:物理地址,也就是消息在日志分段文件中对应的物理位置,占用4个字节。……baseOffset 为 32……offset为35……relativeOffset的值为35-32=3。