知识卡片

普通读书笔记卡

事件时间水印限制迟到状态

理解等级:中级

事件时间是消息本身携带的发生时间,可能早于 Spark 收到消息的时间。按设备每分钟事件数聚合时,应按事件时间列分组;迟到的消息可能更新先前时间窗。水印让应用声明可容忍的迟到阈值,使引擎在阈值之外清理旧窗口状态。它是准确性与状态占用的取舍:阈值太短,晚到消息可能无法再修正旧结果;阈值太长,需保留更多中间状态。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.7 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文定义事件时间、迟到数据对旧聚合的更新,以及水印阈值清除旧状态的用途;阈值取舍是这些条件的直接推论。 - 原始内容:自Spark 2.1开始还增加了对水印(watermarking)的支持,允许用户指定迟到数据的阈值,并允许处理引擎相应地清除旧的状态。