知识卡片

普通读书笔记卡

日志根目录按分区数选

理解等级:中级

一个 broker 可以配置多个日志根目录;分区副本的日志落在其中一个根目录下,目录内再按 <topic>-<partition> 建文件夹。书中 Kafka 2.0.0 创建新分区时,会在该 broker 的根目录中选已有分区数最少的一个。这个规则平衡的是分区数量,不等于按剩余磁盘空间或实际写入量均衡;分区大小与写入速率差异很大时,仍需观察各目录容量和负载。根目录还包含检查点及元数据文件,不能把它只当作分区数据文件的容器。参见[[副本才是物理实体]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章《日志存储》5.1「文件目录布局」(`_epub-src/OEBPS/Text/chapter6.xhtml`;分区文件夹 `175_2.jpg`、多根目录布局 `177_1.jpg`) - 结论依据:正文明确分区目录命名和多根目录时选择已有分区数最少者;图 5-2 同时展示两个根目录、分区目录和检查点文件。由选择指标是分区数可知它不能直接保证字节容量或 I/O 均衡。 - 原始内容:每一个根目录都会包含最基本的 4个检查点文件(xxx-checkpoint)和 meta.properties 文件。在创建主题的时候,如果当前 broker中不止配置了一个根目录,那么会挑选分区数最少的那个根目录来完成本次创建任务。