返回主题:拉取、积压与消费能力:拉得动吗

知识卡片

普通读书笔记卡

工作队列满时反压拉取

理解等级:中级

消费者拉取快于工作线程处理时,若继续把批次无界提交给线程池,待处理记录会积压。书中线程池使用有界队列,并设置 CallerRunsPolicy:队列和工作线程都满时,由提交任务的消费线程自己执行处理任务,使它暂时放慢后续 poll(),形成简易反压。这能限制任务堆积,却也会延长消费线程再次轮询的间隔;设计时仍要核对消费组的轮询时限、单批处理耗时与业务失败处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.10「多线程实现」(`_epub-src/OEBPS/Text/chapter4.xhtml`;代码清单 3-12,图 `102_1.jpg`) - 结论依据:示例创建固定工作线程数、有界队列及 `CallerRunsPolicy`;正文指出此设置是为处理能力跟不上拉取速度时防止异常。 - 原始内容:注意KafkaConsumerThread类中ThreadPoolExecutor里的最后一个参数设置的是CallerRunsPolicy(),这样可以防止线程池的总体消费能力跟不上poll()拉取的能力