知识卡片
延时拉取先读再等再读
拉取请求到达时,Kafka 先读一次日志。如果可返回的数据不足 fetch.min.bytes,服务端创建 DelayedFetch 等新数据或超时;被唤醒后再读一次日志并返回当时的结果。第二次读很关键:等待期间日志可能已有新消息,不能把首次读到的空结果直接返回。若首次读取已达到最小字节数,就立即响应,不进入延时管理器。这个机制减少分区暂时没有新消息时的连续空拉取。
结构图:
flowchart LR
A[收到拉取请求] --> B[第一次读日志]
B --> C{达到最小字节数?}
C -- 是 --> D[立即返回]
C -- 否 --> E[创建 DelayedFetch]
E --> F[新消息事件或超时]
F --> G[第二次读日志]
G --> H[返回当前结果]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第6章《深入服务端》6.3 节(源文件:`_epub-src/OEBPS/Text/chapter7.xhtml`;图 6-13:`_epub-src/OEBPS/Images/229_1.jpg`)
- 结论依据:原文描述分区无新消息时频繁空拉取的资源浪费,再给出先读一次、未达 fetchMinBytes 则等待、执行时再次读取并返回的流程。
- 原始内容:Kafka在处理拉取请求时,会先读取一次日志文件,如果收集不到足够多(fetchMinBytes,由参数fetch.min.bytes配置,默认值为1)的消息,那么就会创建一个延时拉取操作(DelayedFetch)以等待拉取到足够数量的消息。