← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.r.15

窗口何时准备好

理解等级:未标注

用[[事件时间与处理时间]]中的事件时间定义窗口,难在无法确定窗口的事件是否已收齐,如第 37 分钟的事件可能因网络中断仍在路上。应对滞留事件,可以忽略并监控丢弃数量,或发布更正结果;也可由生产者声明不会再有早于 t 的消息,但多生产者时要分别跟踪。时间戳本身也难确定:离线应用可能缓存数天后才上报,设备时钟不可信。折中是记录事件发生、设备发送、服务器接收三个时间,用后两者估算时钟偏差,再校正事件发生时间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十一章《流处理》"知道什么时候准备好了""你用的是谁的时钟?"(源文件:_epub-src/ch11_split_004.html) - 结论依据:原文说明滞留事件的两种处理方式(忽略与发布更正)及特殊触发消息的局限,并给出记录设备/服务器三个时间戳来估算并校正设备时钟偏移的方法,直接支撑本卡片结论。 - 原始内容:忽略这些滞留事件……发布一个更正(correction),一个包括滞留事件的更新窗口值。……要校正不正确的设备时钟,一种方法是记录三个时间戳……通过从第三个时间戳中减去第二个时间戳,可以估算设备时钟和服务器时钟之间的偏移