知识卡片

普通读书笔记卡

压实合并小分段

理解等级:中级

压实会移除同 key 的旧消息,使原分段缩小。若每个旧分段都单独重写,就会留下许多小文件。书中 Kafka 因此按顺序把多个待清理分段分组,在分段大小与索引大小上限内,将同组保留消息写成一个新分段。图 5-19 第二次清理时,0.4 GiB 与 0.4 GiB 可合为一组,压实后成为一个更小分段。分组是减少小文件的文件组织步骤,不能理解为把相邻分段的消息位移重新编号。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第 5 章 5.4.2 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 19456–23731;图 5-19 `205_1.jpg`) - 结论依据:原文说明小文件风险、顺序分组与同组产出一个新分段;图 5-19 已回读。原文所列索引大小参数名与本章前文不一致,此卡只记录分组约束,不复述该参数名,留待 S3 查核。 - 原始内容:为了防止出现太多的小文件,Kafka 在实际清理过程中并不对单个的日志分段进行单独清理……同一个组的多个日志分段清理过后,只会生成一个新的日志分段。