返回主题:背压与流控:生产速率怎么被下游约束

知识卡片

普通读书笔记卡 · 3103.b

微批反压按处理速度调输入

理解等级:中级

微批系统可在每批完成后测量处理时延、等待时延与消息数,估计当前处理速率,再把速率反馈给数据生产者调整输入。反压因此形成“测量—估计—限速”的闭环,使输入尽量跟上实际处理能力。书中以 Spark Streaming 的历史实现说明此机制;具体开关与控制算法须按使用版本核对。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.2.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter101.xhtml) - 结论依据:原文依次描述批次处理统计、速度估计、通知生产者、动态调整生产速度四步。 - 原始内容:当Spark处理完每批数据时,统计每批数据的处理结束时间、处理时延、等待时延、处理消息数等信息。然后,Spark根据统计信息估计处理速度,并将这个估计值通知给数据生产者。最后,数据生产者根据估计的处理速度,动态调整生产速度