知识卡片

迟到数据需旁路

专业/工作 · 499.a.3.b

内容

迟到数据可能在 Watermark 之后到达,Flink 可将其侧输出或更新已有结果。发散:迟到不是异常个案,而是事件时间系统必须设计的正常路径。

参考来源

- 位置:《Flink原理与实践》第5章《时间和窗口》(源文件:_epub-src/OEBPS/Text/chapter08.xhtml) - 结论依据:原文围绕“处理迟到数据”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:最底层的API:ProcessFunction。 窗口以及窗口上的计算。 数据流上的Join操作。 处理迟到数据。 本章的实验中,我们仍然以股票价格数据流为例,对其进行窗口上的各类操作。读者阅读完本章之后,能够掌握Flink时间和窗口的使用方法。 5.1 Flink的时间语义 在流处理中,时间是一个……