知识卡片
水位线取慢者
内容
分布式环境中多个上游向下游发送 Watermark,下游通常以较小者推进,避免提前关闭仍可能收到数据的窗口。发散:整体进度被最慢分区牵住,是分布式流处理的常态。
参考来源
- 位置:《Flink原理与实践》第5章《时间和窗口》(源文件:_epub-src/OEBPS/Text/chapter08.xhtml)
- 结论依据:原文围绕“分布式环境下Watermark的传播”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:,准确度能够得到提升,但应用的延迟较高,因为Flink必须等待更长的时间才能进行计算。 5.1.4 分布式环境下Watermark的传播 在实际计算过程中,Flink的算子一般分布在多个并行的算子子任务(或者称为算子实例、分区)上,Flink需要将Watermark在并行环境下向前传播。如图5-3中……