知识卡片
无序性的局部有序解法
并发、网络延迟与故障让事件难以严格按发生顺序抵达;工程上可按时间戳把事件放进窗口分片,等待一段时间再统一处理,以延迟换局部有序。必须区分事件发生时间与系统处理时间:迟到事件会让两种时间语义得到不同结果。等待多久、接受多少迟到数据,要由业务时效和正确性要求决定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
**:
- 位置:《实时流计算系统设计与实现》第1章1.3《实时流数据的特点》(源文件:_epub-src/OEBPS/Text/chapter4.xhtml)
- 结论依据:原文指出全局严格有序几乎不可保证,转而在时间窗口分片内等待后统一处理,并区分事件发生时间和处理时间。
- 原始内容:于是退而求其次,我们可以让数据在局部时间窗口内有序。在目前主流的实时流计算框架中,常见的做法是将接收到的事件,按时间戳分发到一个个的时间窗口分片中,在等待一段时候后,再触发时间窗口分片内数据的统一处理操作。