知识卡片

普通读书笔记卡

压实留空位移不重排

理解等级:中级

Kafka 的 Log Compaction 按 key 去掉旧版本消息,但保留消息原有的逻辑位移;新日志文件会重新安排物理位置,因此压实后的位移可以不连续。图 5-16 中,原来位移 0–9 的消息压实后只留下 2、6、7、8、9。查询不能把“位移 3 不存在”误解成“后续消息也不存在”;位移是原日志中的稳定标识,不是压实后文件的连续行号。这里的压实是按 key 去重,与 gzip 等消息字节压缩不同;两类清理策略的用途见[[删除与压缩两种清理]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第 5 章 5.4.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 19456–23731;图 5-16 `201_2.jpg`) - 结论依据:原文明确说明原位移不变、物理位置重组、位移不再连续但仍可查询;图 5-16 已回读,列出压实前后位移。 - 原始内容:Log Compaction执行前后,日志分段中的每条消息的偏移量和写入时的偏移量保持一致。Log Compaction会生成新的日志分段文件……Log Compaction执行过后的偏移量不再是连续的,不过这并不影响日志的查询。