知识卡片
Storm反压观察阶段队列
只限制 Spout 未确认消息数,可以抑制源头发送,却难以及时定位哪个 Bolt 阶段正在积压。书中较新版本还监测各级 Bolt 接收队列,在超过阈值时通知 Spout 限速,使流控能反映中间处理阶段的压力。反压设计应观察瓶颈处的队列状态;单个全局待确认上限容易引起吞吐抖动。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.1.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter95.xhtml)
- 结论依据:原文对比早期仅用 max.spout.pending 与较新版本同时监控 Bolt 接收队列的方案,并指出前者会使处理速度抖动。
- 原始内容:早期版本的Storm通过开启acker机制和max.spout.pending参数实现反向压力。……在较新版本的Storm中,除了监控Spout发送出但没有被确认的消息数外,还需监控每级Bolt接收队列的消息数量。