知识卡片

普通读书笔记卡 · 3108.g.1

消费者并行度受分区数量限制

理解等级:中级

同一 Kafka Consumer Group 内,分区是分摊读取工作的基本单位。消费者少于分区时,有成员承担多个分区,跨分区读取不保证全局顺序;消费者多于分区时,额外成员会闲置。增加消费者还会触发分区重新分配,因此扩容前应先看分区数,并考虑重新分配带来的短时处理变化。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.3.2(源文件:_epub-src/OEBPS/text00029.html) - 结论依据:原文逐项说明组内 Consumer 数量小于、大于 Partition 数量及增加成员时的分配结果。 - 原始内容:如果Consumer Group中的Consumer数目小于所读topic中的partition数目,则某些Consumer可能会读取多个partition中的数据……如果Consumer Group中的Consumer数目大于所读topic中的partition数目,则某些Consumer会闲置,永远不会读到数据。……增加Consumer Group中的Consumer数量,会导致负载重分布