知识卡片
事件时间水印限制迟到状态
事件时间是消息本身携带的发生时间,可能早于 Spark 收到消息的时间。按设备每分钟事件数聚合时,应按事件时间列分组;迟到的消息可能更新先前时间窗。水印让应用声明可容忍的迟到阈值,使引擎在阈值之外清理旧窗口状态。它是准确性与状态占用的取舍:阈值太短,晚到消息可能无法再修正旧结果;阈值太长,需保留更多中间状态。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.7 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文定义事件时间、迟到数据对旧聚合的更新,以及水印阈值清除旧状态的用途;阈值取舍是这些条件的直接推论。
- 原始内容:自Spark 2.1开始还增加了对水印(watermarking)的支持,允许用户指定迟到数据的阈值,并允许处理引擎相应地清除旧的状态。