知识卡片
随机起点分散副本负载
书中 Kafka 2.0.0 的无机架副本分配,会为每个新主题随机选一个 broker 列表起点,再逐分区轮转首副本,并改变后续副本的偏移。若所有主题都固定从同一个 broker 起步,小主题尤其容易把首副本集中到少数节点;随机起点让多个主题的放置更分散。算法操作的是 broker 列表下标,结果再映射到真实 broker ID:例如列表为 [2,5,8],起点下标为 2 时,首个 broker ID 是 8。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第4章《主题与分区》4.1.2「分区副本的分配」(`_epub-src/OEBPS/Text/chapter5.xhtml`;源码图 `120_1.jpg`、`121_1.jpg`,示例图 `122_1.jpg`)
- 结论依据:正文和 `assignReplicasToBrokersRackUnaware` 源码给出随机 `startIndex`、`nextReplicaShift` 与按分区轮转的计算;正文用非连续 broker ID 列表说明下标与 ID 的区别,并解释固定起点的偏斜风险。
- 原始内容:之所以startIndex选择随机产生,是因为这样可以在多个主题的情况下尽可能地均匀分布分区副本,如果这里固定为一个特定值,那么每次的第一个副本都是在这个broker上……与此同时,在分配时位移量nextReplicaShift也可以更好地使分区副本分配得更加均匀。