知识卡片

普通读书笔记卡

拉取大小上限保留首条例外

理解等级:中级

fetch.max.bytes 限制一次拉取请求整体返回量,max.partition.fetch.bytes 限制每个分区的返回量;两者都是控制批次大小的参数,不能误作消息绝对大小上限。本书说明:如果第一个非空分区的首条消息大于配置上限,Kafka 仍可返回它,让消费者继续推进。服务端能接受多大消息另由 message.max.bytes 或主题的 max.message.bytes 控制。因而排查大消息消费时,要分别看生产/服务端接收限制与消费者批次限制。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.11「重要的消费者参数」(`_epub-src/OEBPS/Text/chapter4.xhtml`) - 结论依据:正文区分整个拉取请求和单分区的大小参数,并解释首条超上限消息仍会返回,以保证消费可前进。 - 原始内容:如果在第一个非空分区中拉取的第一条消息大于该值,那么该消息将仍然返回,以确保消费者继续工作……前者用来限制一次拉取中每个分区的消息大小,而后者用来限制一次拉取中整体消息的大小