知识卡片
延迟准确需权衡
内容
Watermark 等待时间越长,迟到数据越少、结果越准确,但输出延迟越高;等待越短则实时性更好但更可能修正结果。发散:实时系统没有免费准确,只有可接受的迟到预算。
参考来源
- 位置:《Flink原理与实践》第5章《时间和窗口》(源文件:_epub-src/OEBPS/Text/chapter08.xhtml)
- 结论依据:原文围绕“平衡延迟和准确性”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:非常激进,大量的Watermark会增大下游计算的延迟,拖累整个Flink作业的性能。 5.1.6 平衡延迟和准确性 至此,我们已经了解了Flink的Event Time和Watermark生成方法,那么具体如何操作呢?实际上,这个问题可能并没有一个标准答案。批处理中,数据都已经准备好了,不需要考虑……