知识卡片

结构图卡 · 1783.c.1.a.2

Beam的三种时间窗口划分方式:固定/滑动/会话

理解等级:未标注

因为流式数据流是无界的、无法预知何时结束,Beam统一用window(时间窗口)把连续的数据流切成离散片段,让流式计算能够按”一批一批”的方式处理——这是Beam能把流处理转化为批处理问题的关键设计(呼应[[传统”消息队列+工作进程”方案的三缺陷与流式引擎的两种路线]]中”面向微批处理”路线的思路,但Beam把这个切分逻辑抽象成了统一的编程接口,不再是某个具体引擎的内部实现细节)。三种窗口类型对应三种不同的业务语义。固定窗口按event time切成固定大小、互不重叠的片段(比如每2分钟一个窗口)——适合”每隔固定时间统计一次”这类规律性报表。滑动窗口同样按固定大小切分,但允许相邻窗口有重叠(比如每10秒一个窗口、每10秒滑动一次,也可以设置窗口比滑动步长更长从而产生重叠)——适合”过去N分钟内”这类滚动统计需求。会话窗口则完全不按固定时间长度划分,而是按”用户连续活动的时间区间”划分——只要相邻两条数据的间隔不超过设定的会话超时时间,就归入同一个窗口,一旦间隔超过阈值就认为上一个会话结束、开启新会话,这类窗口的长度是动态的、由数据本身的疏密程度决定。可迁移启发:窗口划分方式的选择本质是在回答”这批数据该按什么维度归堆”——按绝对时间刻度对齐(固定窗口)、按滚动时间范围对齐(滑动窗口)、还是按数据自身的活动疏密自然分段(会话窗口),三者对应三种完全不同的业务提问方式,选窗口类型前应该先想清楚业务问的究竟是哪一种。

结构图:

flowchart TB
  A["Beam时间窗口三种类型(按event time划分)"]
  A --> F["固定窗口<br/>固定大小,互不重叠<br/>适合:每隔固定时间统计一次"]
  A --> S["滑动窗口<br/>固定大小,允许重叠(窗口>滑动步长)<br/>适合:过去N分钟滚动统计"]
  A --> SE["会话窗口<br/>窗口长度动态,按活动间隔划分<br/>适合:用户会话/连续活动区间统计"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》之"15.4.1 window简述"(源文件:_epub-src/OEBPS/text00121.html) - 结论依据:原文说明"Beam按照event time将流式计算的'时间窗口'分成三类:固定窗口(fixed window)、滑动窗口(sliding window)和会话窗口(session window)……固定窗口:以event time为基准将数据流切分成固定时间窗口大小且无重叠的数据片段……滑动窗口:以event time为基准将数据流切分成固定时间窗口大小但允许有重叠的数据片段……会话窗口是指用户连续活动的时间区间……Beam通过判断会话终止条件(相邻两个数据出现间隔不超过设置的会话时间)将流式数据划分到不同会话窗口中", 直接支撑本卡关于三种窗口类型的结构图。 - 原始内容:比如在淘宝上,用户从登录到最终离开,整个过程便是一个会话窗口。