知识卡片
缓冲耗尽会阻塞发送
RecordAccumulator 是主线程与 Sender 线程之间的待发送缓冲区,buffer.memory 限制其可用内存。消息进入缓冲区的速度若持续超过发送速度,send() 可能等待空位,超过 max.block.ms 后抛出异常;不能把异步发送理解为调用方永不阻塞。书中 Kafka 2.0.0 的默认值分别是 32 MB 和 60 秒,具体配置要结合目标版本与发送速率核对。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第2章《生产者》2.2.1「整体架构」(源文件:`_epub-src/OEBPS/Text/chapter3.xhtml`;架构图 `50_1.jpg`)
- 结论依据:原文说明累加器缓存供 Sender 批量发送、缓冲空间不足时 `send()` 阻塞或抛错,并给出两个参数在本书版本下的默认值。
- 原始内容:RecordAccumulator 主要用来缓存消息以便 Sender 线程可以批量发送,进而减少网络传输的资源消耗以提升性能。……如果生产者发送消息的速度超过发送到服务器的速度,则会导致生产者空间不足,这个时候KafkaProducer的send()方法调用要么被阻塞,要么抛出异常,这个取决于参数max.block.ms的配置,此参数的默认值为60000,即60秒。