知识卡片

普通读书笔记卡 · 3085.c

无序性的局部有序解法

理解等级:未标注

并发、网络延迟与故障让事件难以严格按发生顺序抵达;工程上可按时间戳把事件放进窗口分片,等待一段时间再统一处理,以延迟换局部有序。必须区分事件发生时间与系统处理时间:迟到事件会让两种时间语义得到不同结果。等待多久、接受多少迟到数据,要由业务时效和正确性要求决定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    **: - 位置:《实时流计算系统设计与实现》第1章1.3《实时流数据的特点》(源文件:_epub-src/OEBPS/Text/chapter4.xhtml) - 结论依据:原文指出全局严格有序几乎不可保证,转而在时间窗口分片内等待后统一处理,并区分事件发生时间和处理时间。 - 原始内容:于是退而求其次,我们可以让数据在局部时间窗口内有序。在目前主流的实时流计算框架中,常见的做法是将接收到的事件,按时间戳分发到一个个的时间窗口分片中,在等待一段时候后,再触发时间窗口分片内数据的统一处理操作。