知识卡片
水印机制给乱序数据设定等待期限
水印是流中表示事件时间进度的时间戳。处理单元收到水印后,可处理此前时间戳的事件,不再无限等待乱序数据。为晚到事件预留更长等待期,能减少漏处理,却会增加结果时延;超过期限的事件仍需按系统策略处置。水印解决的是“等到何时”的边界,不会让乱序事件自动消失。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第5章5.1.1《流数据状态》(源文件:_epub-src/OEBPS/Text/chapter76.xhtml)
- 结论依据:原文说明为乱序事件先缓存再排序,并以水印时间戳设定处理截止点;等待时间越长,当前事件时延也越高。
- 原始内容:水印是一个时间戳,当处理单元接收到“水印”时,表示应该处理所有时间戳在该水印之前的事件。……这种方案也不能百分百地解决时间乱序问题,实在太晚到达的事件当然只能是“过期不候”了。