知识卡片

普通读书笔记卡

随机起点分散副本负载

理解等级:中级

书中 Kafka 2.0.0 的无机架副本分配,会为每个新主题随机选一个 broker 列表起点,再逐分区轮转首副本,并改变后续副本的偏移。若所有主题都固定从同一个 broker 起步,小主题尤其容易把首副本集中到少数节点;随机起点让多个主题的放置更分散。算法操作的是 broker 列表下标,结果再映射到真实 broker ID:例如列表为 [2,5,8],起点下标为 2 时,首个 broker ID 是 8。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第4章《主题与分区》4.1.2「分区副本的分配」(`_epub-src/OEBPS/Text/chapter5.xhtml`;源码图 `120_1.jpg`、`121_1.jpg`,示例图 `122_1.jpg`) - 结论依据:正文和 `assignReplicasToBrokersRackUnaware` 源码给出随机 `startIndex`、`nextReplicaShift` 与按分区轮转的计算;正文用非连续 broker ID 列表说明下标与 ID 的区别,并解释固定起点的偏斜风险。 - 原始内容:之所以startIndex选择随机产生,是因为这样可以在多个主题的情况下尽可能地均匀分布分区副本,如果这里固定为一个特定值,那么每次的第一个副本都是在这个broker上……与此同时,在分配时位移量nextReplicaShift也可以更好地使分区副本分配得更加均匀。