返回主题:拉取、积压与消费能力:拉得动吗

知识卡片

普通读书笔记卡

消费并发有两层选择

理解等级:中级

提高消费吞吐有两种常见层次。其一,每个消费线程拥有独立的 KafkaConsumer,组内自动分配分区;消费线程数超过分区数时多出的线程空闲,且每个消费者维护自己的连接。其二,保留少量拉取线程,把 poll() 得到的批次交给处理线程池,减少连接占用,也可提高慢业务处理的并发度;代价是同一分区的处理完成顺序和位移提交更难控制。直接让多个线程同时操作同一个消费者不属于这两种方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.10「多线程实现」(`_epub-src/OEBPS/Text/chapter4.xhtml`;架构图 `98_3.jpg`、`101_1.jpg`,代码清单 3-11、3-12) - 结论依据:正文比较每线程一个消费者与拉取后多线程处理的分区并发、连接开销和顺序控制;图示拉取与工作线程边界。 - 原始内容:第一种也是最常见的方式:线程封闭,即为每个线程实例化一个KafkaConsumer对象……当消费线程的个数大于分区数时,就有部分消费线程一直处于空闲的状态……将处理消息模块改成多线程的实现方式