知识卡片

普通读书笔记卡 · 3099.a

流窗口与水印

理解等级:中级

批处理查询的基本限制:查询引擎是外部观察者,由 cron 或打开报表的人触发。大多数流式系统则支持由数据本身触发计算——缓冲区收集到一定数量记录时发出均值、中位数,或用户会话关闭时输出摘要。

窗口是通过动态触发器处理的小批数据,按时间动态生成: - 会话窗口:把发生在一起的事件分组,过滤掉非活动期,例如事件间隔不超过 5 分钟即为同一会话。会话窗口按键划分,每个用户有自己的窗口;5 分钟无活动就关闭窗口、发送结果、清洗数据,新事件到来再开新窗口。可允许数据迟到 5 分钟,迟到事件表明近期有活动时重新打开窗口。动态会话改变了作用:回溯会话只能在会话结束后一天或一小时发后续优惠券,动态会话能根据用户过去 15 分钟的活动即时提醒; - 固定时间(滚动)窗口:按固定时段(如每 20 秒)关闭窗口,处理自上个窗口以来的所有数据。它类似传统批量 ETL,只是频率更高、延迟更低——批处理是流处理的一个特例; - 滑动窗口:固定长度、可重叠,如每 30 秒生成一个 60 秒窗口;也可连续滑动并在满足条件(如用户点击某广告条)时才计算,点击多时输出极高,没人点击时没有计算。

水印:窗口用来判断数据是否属于某时间区间、是否算迟到的阈值。数据对窗口来说是新到的,但时间戳早于水印,就被视为迟到数据。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.5 流数据上的查询(窗口、触发器、统计数据和迟到的数据)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.1.5节说明流式系统由数据触发计算,介绍会话窗口(按键、允许迟到、动态会话的价值)、固定窗口、滑动窗口,以及用水印判断迟到数据。 - 原始内容:正如我们反复强调的那样,批处理是流处理的一个特例。