知识卡片

结构图卡

延时拉取先读再等再读

理解等级:中级

拉取请求到达时,Kafka 先读一次日志。如果可返回的数据不足 fetch.min.bytes,服务端创建 DelayedFetch 等新数据或超时;被唤醒后再读一次日志并返回当时的结果。第二次读很关键:等待期间日志可能已有新消息,不能把首次读到的空结果直接返回。若首次读取已达到最小字节数,就立即响应,不进入延时管理器。这个机制减少分区暂时没有新消息时的连续空拉取。

结构图:

flowchart LR
    A[收到拉取请求] --> B[第一次读日志]
    B --> C{达到最小字节数?}
    C -- 是 --> D[立即返回]
    C -- 否 --> E[创建 DelayedFetch]
    E --> F[新消息事件或超时]
    F --> G[第二次读日志]
    G --> H[返回当前结果]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第6章《深入服务端》6.3 节(源文件:`_epub-src/OEBPS/Text/chapter7.xhtml`;图 6-13:`_epub-src/OEBPS/Images/229_1.jpg`) - 结论依据:原文描述分区无新消息时频繁空拉取的资源浪费,再给出先读一次、未达 fetchMinBytes 则等待、执行时再次读取并返回的流程。 - 原始内容:Kafka在处理拉取请求时,会先读取一次日志文件,如果收集不到足够多(fetchMinBytes,由参数fetch.min.bytes配置,默认值为1)的消息,那么就会创建一个延时拉取操作(DelayedFetch)以等待拉取到足够数量的消息。