知识卡片

普通读书笔记卡

活跃索引先预分配空间

理解等级:中级

书中 Kafka 的活跃日志分段仍要追加索引项,因此对应的偏移量与时间戳索引文件保持可读写,并预分配 log.index.size.max.bytes 指定的空间。分段滚动后,旧索引不再追加,转为只读,并被裁剪到实际已用大小;新分段的索引重新以可读写、预分配状态创建。

因此查看磁盘文件大小时,活跃索引看起来达到配置上限,并不等于已经写满索引项;旧索引的文件大小更接近实际占用。判断“索引容量触发滚动”应看已写索引内容是否达到上限,不能仅凭活跃索引的预分配文件长度下结论。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 12009–13557) - 结论依据:原文对比活跃与非活跃分段索引的读写模式、预分配和切分时裁剪行为;从预分配大小不等于实际已写项数推得观测边界。 - 原始内容:对非当前活跃的日志分段而言,其对应的索引文件内容已经固定而不需要再写入索引项,所以会被设定为只读。……Kafka 在创建索引文件的时候会为其预分配log.index.size.max.bytes 大小的空间……只有当索引文件进行切分的时候,Kafka 才会把该索引文件裁剪到实际的数据大小。