知识卡片

普通读书笔记卡

索引容量也会触发分段

理解等级:中级

Kafka 滚动日志分段时,限制并不只有 .log 文件大小。书中列出四类触发条件,满足任一项即可切段:日志达到大小阈值;分段达到时间阈值;偏移量或时间戳索引达到容量上限;待写消息与当前分段 baseOffset 的差超过 Integer.MAX_VALUE,无法再表示为相对位移。最后两项说明索引格式也约束日志分段的生命周期:即使日志文件尚不大,索引空间或相对位移范围耗尽,仍需开启新分段。

这些是书中 Kafka 2.0.0 语境下的 broker 配置行为。规划分段数量、文件句柄或磁盘占用时,需要同时看日志阈值与索引阈值,不能只用 log.segment.bytes 推算。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 12009–13557) - 结论依据:原文明确列出日志大小、时间、两类索引容量和相对位移范围四类切分条件,且说明任一满足即可触发。 - 原始内容:日志分段文件切分包含以下几个条件,满足其一即可。……偏移量索引文件或时间戳索引文件的大小达到broker端参数log.index.size.max.bytes配置的值。……追加的消息的偏移量与当前日志分段的偏移量之间的差值大于Integer.MAX_VALUE,即要追加的消息的偏移量不能转变为相对偏移量。