知识卡片
窗口统计用事件时间
按时间窗口统计(如 6:01 到 6:30 有多少点击)时,若按计算框架处理消息的时间划窗口,网络和排队延迟会让事件落进错误的窗口:6:30 发生的事件 2 秒后才被处理,就被算进了下一个窗口。应按消息里记录的事件实际发生时间统计,Flink 支持这种事件时间语义。凡是按时间统计的系统,都要明确以哪个时刻为准。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第6章《数据收集》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_007.html)
- 结论依据:原文说明日志中事件发生的时间可能与计算框架处理消息的时间不一致,例如6:30发生的事件2秒后才处理,按处理时间统计6:01~6:30时就会漏算;按时间窗口统计应根据消息的事件时间计算,Flink基于事件时间而非处理时间。
- 原始内容:日志中事件发生的时间有可能与计算框架处理消息的时间不一致。……在实际业务场景中,如果需要按照时间窗口统计数据,往往是根据消息的事件时间来计算。