知识卡片
微批反压按处理速度调输入
微批系统可在每批完成后测量处理时延、等待时延与消息数,估计当前处理速率,再把速率反馈给数据生产者调整输入。反压因此形成“测量—估计—限速”的闭环,使输入尽量跟上实际处理能力。书中以 Spark Streaming 的历史实现说明此机制;具体开关与控制算法须按使用版本核对。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.2.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter101.xhtml)
- 结论依据:原文依次描述批次处理统计、速度估计、通知生产者、动态调整生产速度四步。
- 原始内容:当Spark处理完每批数据时,统计每批数据的处理结束时间、处理时延、等待时延、处理消息数等信息。然后,Spark根据统计信息估计处理速度,并将这个估计值通知给数据生产者。最后,数据生产者根据估计的处理速度,动态调整生产速度