知识卡片

结构图卡

批次内存的复用边界

理解等级:中级

累加器为每个分区维护一个批次双端队列。新记录先尝试加入队尾的 ProducerBatch;装不下才创建新批次。若单条记录不超过 batch.size,新批次按该大小分配,使用后的内存可经 BufferPool 复用;超过该值则按记录的估算大小分配,不进入这个复用池。batch.size 因而既影响批次容纳空间,也决定缓冲区可复用内存块的规格;增大它会改变内存占用和凑批行为,不能单凭“越大越好”调参。

结构图: 图示单条记录进入所属分区的队尾批次时,何时新建批次及能否复用内存。

flowchart TD
    A[按分区找到双端队列] --> B{队尾批次能否容纳记录}
    B -- 能 --> C[追加到现有批次]
    B -- 不能 --> D{记录估算大小是否超过 batch.size}
    D -- 否 --> E[按 batch.size 创建新批次]
    E --> F[用后内存可由 BufferPool 复用]
    D -- 是 --> G[按记录估算大小创建新批次]
    G --> H[用后内存不进入该复用池]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第2章《生产者》2.2.1「整体架构」(源文件:`_epub-src/OEBPS/Text/chapter3.xhtml`;架构图 `50_1.jpg`) - 结论依据:原文逐步说明从分区队列尾部取得或新建批次、按记录是否超过 `batch.size` 决定分配大小,并明确只有特定大小的内存块由 `BufferPool` 复用。 - 原始内容:在新建ProducerBatch时评估这条消息的大小是否超过batch.size参数的大小,如果不超过,那么就以 batch.size 参数的大小来创建 ProducerBatch,这样在使用完这段内存区域之后,可以通过BufferPool 的管理来进行复用;如果超过,那么就以评估的大小来创建ProducerBatch,这段内存区域不会被复用。