返回主题:背压与流控:生产速率怎么被下游约束

知识卡片

普通读书笔记卡 · 3102.c

Storm反压观察阶段队列

理解等级:高级

只限制 Spout 未确认消息数,可以抑制源头发送,却难以及时定位哪个 Bolt 阶段正在积压。书中较新版本还监测各级 Bolt 接收队列,在超过阈值时通知 Spout 限速,使流控能反映中间处理阶段的压力。反压设计应观察瓶颈处的队列状态;单个全局待确认上限容易引起吞吐抖动。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.1.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter95.xhtml) - 结论依据:原文对比早期仅用 max.spout.pending 与较新版本同时监控 Bolt 接收队列的方案,并指出前者会使处理速度抖动。 - 原始内容:早期版本的Storm通过开启acker机制和max.spout.pending参数实现反向压力。……在较新版本的Storm中,除了监控Spout发送出但没有被确认的消息数外,还需监控每级Bolt接收队列的消息数量。