知识卡片
窗口何时准备好
用[[事件时间与处理时间]]中的事件时间定义窗口,难在无法确定窗口的事件是否已收齐,如第 37 分钟的事件可能因网络中断仍在路上。应对滞留事件,可以忽略并监控丢弃数量,或发布更正结果;也可由生产者声明不会再有早于 t 的消息,但多生产者时要分别跟踪。时间戳本身也难确定:离线应用可能缓存数天后才上报,设备时钟不可信。折中是记录事件发生、设备发送、服务器接收三个时间,用后两者估算时钟偏差,再校正事件发生时间。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十一章:流处理
原书出处 · 1 处
- 第十一章:流处理 · 查看原书依据
通过从第三个时间戳中减去第二个时间戳,可以估算设备时钟和服务器时钟之间的偏移
参考来源
- 位置:《数据密集型应用系统设计》第十一章《流处理》"知道什么时候准备好了""你用的是谁的时钟?"(源文件:_epub-src/ch11_split_004.html)
- 结论依据:原文说明滞留事件的两种处理方式(忽略与发布更正)及特殊触发消息的局限,并给出记录设备/服务器三个时间戳来估算并校正设备时钟偏移的方法,直接支撑本卡片结论。
- 原始内容:忽略这些滞留事件……发布一个更正(correction),一个包括滞留事件的更新窗口值。……要校正不正确的设备时钟,一种方法是记录三个时间戳……通过从第三个时间戳中减去第二个时间戳,可以估算设备时钟和服务器时钟之间的偏移