知识卡片
压实留空位移不重排
Kafka 的 Log Compaction 按 key 去掉旧版本消息,但保留消息原有的逻辑位移;新日志文件会重新安排物理位置,因此压实后的位移可以不连续。图 5-16 中,原来位移 0–9 的消息压实后只留下 2、6、7、8、9。查询不能把“位移 3 不存在”误解成“后续消息也不存在”;位移是原日志中的稳定标识,不是压实后文件的连续行号。这里的压实是按 key 去重,与 gzip 等消息字节压缩不同;两类清理策略的用途见[[删除与压缩两种清理]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第 5 章 5.4.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 19456–23731;图 5-16 `201_2.jpg`)
- 结论依据:原文明确说明原位移不变、物理位置重组、位移不再连续但仍可查询;图 5-16 已回读,列出压实前后位移。
- 原始内容:Log Compaction执行前后,日志分段中的每条消息的偏移量和写入时的偏移量保持一致。Log Compaction会生成新的日志分段文件……Log Compaction执行过后的偏移量不再是连续的,不过这并不影响日志的查询。