知识卡片
时间索引只追加递增项
书中 Kafka 时间戳索引每项占 12B:8B timestamp 与 4B relativeOffset。其中时间戳是日志分段当前记录的最大时间戳,相对位移指向与它对应的消息。新项的时间戳必须严格大于上一项;不满足就不追加,以维持可二分查找的顺序。索引容量也须按 12B 索引项对齐;书中配置 67B 时内部取 60B。
若使用 broker 追加时间 LogAppendTime,分段中的时间戳可保持单调;若使用生产者创建时间 CreateTime,多个生产者时钟不同或显式设置时间,都可能使后来写入的消息时间早于已有项。偏移量索引与时间戳索引虽在写入一定数据量后同时尝试增加索引项,两边记录的相对位移也不保证相同。读时间索引时,不能把“消息写入顺序”直接当成“消息创建时间顺序”。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 15012–16426;图 5-11 `196_2.jpg`、图 5-12 `197_2.jpg`)
- 结论依据:原文和图 5-11 给出 8B 时间戳、4B 相对位移及严格递增追加规则;正文比较 LogAppendTime 与 CreateTime 的时间顺序,并指出两种索引同步尝试追加却可能对应不同相对位移,以及 67B 容量向下对齐至 60B。
- 原始内容:每个索引项占用12个字节……timestamp:当前日志分段最大的时间戳。……每个追加的时间戳索引项中的 timestamp 必须大于之前追加的索引项的 timestamp,否则不予追加。……两个文件增加索引项的操作是同时进行的,但并不意味着偏移量索引中的relativeOffset和时间戳索引项中的relativeOffset是同一个值。