知识卡片
消费者组分摊分区读取负载
多个 Kafka Consumer 可组成一个 Consumer Group,共同读取同一 Topic 的分区,以并行处理增加吞吐。当组内某个 Consumer 故障时,它负责的分区可转交其他成员。消费者组解决的是同一处理任务的负载分摊;需要独立处理同一批消息的下游应分别维护自己的消费进度。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.2.2(源文件:_epub-src/OEBPS/text00028.html)
- 结论依据:原文说明同组 Consumer 共同读取 Topic、自动分摊负载,并在成员故障后转移其 Partition。
- 原始内容:Kafka允许多个Consumer构成一个Consumer Group,共同读取同一topic中的数据,提高数据读取效率。Kafka可自动为同一Group中的Consumer分摊负载,从而实现消息的并发读取,并在某个Consumer发生故障时,自动将它处理的partition转移给同Group中其他Consumer处理。