知识卡片
组成员变化重分配分区
消费组的成员数变化时,已分配的分区会在组内重新分配。书中默认策略示例以 7 个分区说明:1 个消费者承担全部分区;新增 C1、C2 后,原有消费者交出部分分区,成员各自处理获分配的分区。成员数超过分区数时,多出的消费者没有分区可消费。变化发生在同一组内,不改变其他组各自消费该主题的能力;具体分配结果取决于 partition.assignment.strategy,图例不能当作所有策略的固定映射。
结构图: 图示同一组在成员增加时的分区职责变化,箭头表示重新分配,不指定各分区的具体归属。
flowchart LR
A[7 分区由 C0 消费] --> B[新增 C1 后重新分配]
B --> C[C0 与 C1 分担 7 分区]
C --> D[再新增 C2 后重新分配]
D --> E[3 个成员分担 7 分区]
E --> F[若成员数超过 7 则有成员空闲]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.1「消费者与消费组」(源文件:`_epub-src/OEBPS/Text/chapter4.xhtml`;组成员与分区分配图 `59_2.jpg`–`59_5.jpg`)
- 结论依据:原文按 1、2、3、8 个消费者与 7 个分区的例子说明新增成员需要重分配、超额成员空闲,并限定这些图基于默认分区分配策略。
- 原始内容:此时消费组内又加入了一个新的消费者C1,按照既定的逻辑,需要将原来消费者C0的部分分区分配给消费者C1消费……对于分区数固定的情况,一味地增加消费者并不会让消费能力一直得到提升,如果消费者过多,出现了消费者的个数大于分区个数的情况,就会有消费者分配不到任何分区。