知识卡片

普通读书笔记卡 · 2595.b.1

消费者组分摊分区读取负载

理解等级:中级

多个 Kafka Consumer 可组成一个 Consumer Group,共同读取同一 Topic 的分区,以并行处理增加吞吐。当组内某个 Consumer 故障时,它负责的分区可转交其他成员。消费者组解决的是同一处理任务的负载分摊;需要独立处理同一批消息的下游应分别维护自己的消费进度。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》4.2.2(源文件:_epub-src/OEBPS/text00028.html) - 结论依据:原文说明同组 Consumer 共同读取 Topic、自动分摊负载,并在成员故障后转移其 Partition。 - 原始内容:Kafka允许多个Consumer构成一个Consumer Group,共同读取同一topic中的数据,提高数据读取效率。Kafka可自动为同一Group中的Consumer分摊负载,从而实现消息的并发读取,并在某个Consumer发生故障时,自动将它处理的partition转移给同Group中其他Consumer处理。