知识卡片

结构图卡 · 1783.c.1.a.3

watermark与trigger:在数据完整性和延迟之间的分工

理解等级:未标注

流式数据存在两个天然麻烦:处理时间(process time)总是落后于产生时间(event time),且数据到达顺序可能和产生顺序不一致(乱序)。这带来一个根本性的判断难题:”一个按event time划分的时间窗口,到底什么时候才能认为里面的数据已经到齐、可以开始计算?”watermark就是Beam给出的答案——它是事件时间进度的估计界线,表示系统预计更早事件已基本到齐;越过watermark后仍可能收到迟到数据,处理方式取决于allowed lateness和trigger设置。但严格按watermark触发计算会同时制造两个对立的问题:如果坚持等到watermark越过窗口边界才触发,那些watermark之后才到达的数据可能因允许迟到期限为零而被丢弃,也可能触发迟到结果,影响结果完整性;但如果不设置任何等待就立刻处理,那些早到的数据可能需要等待较久才能看到窗口计算结果,处理延迟被拉长。trigger就是为了在这两难之间做灵活折中而引入的补充机制——它可基于event time、process time、元素数量或组合条件;书中介绍的周期性process-time触发只是其中一类,允许用户设置”什么时机该把当前窗口内已聚集的结果先对外可见”:可以设成”比watermark提前若干时间就周期性触发一次”(让过早到达、聚集充分的数据尽快看到阶段性结果,不必死等到watermark),也可以设成”每收到若干条迟到数据就触发一次”(让少量迟到数据不至于被完全丢弃,用增量小批次的方式追加进结果,而不占用太多计算资源)。为了防止无限期保留过期窗口状态,Beam还允许显式设置”窗口最大允许延迟”,超过允许迟到期限的数据可被丢弃;具体行为还取决于窗口与Runner实现。可迁移启发:当一个系统同时被”完整性”和”延迟”两个互相制约的目标拉扯时,watermark式的”划定一条尽量准的完整性分界线”和trigger式的”在分界线前后灵活设置多个触发点、让结果分阶段逐步逼近完整”两者结合使用,比单纯选择”死等完整”或”立刻输出”某一个极端更能兼顾两个目标。

结构图:

flowchart TB
  A["流式数据两大麻烦:处理延迟+乱序"]
  A --> W["watermark:事件时间进度估计<br/>越过后仍可有迟到数据"]
  W --> P1["问题1:默认零允许迟到→迟到数据可能被丢弃"]
  W --> P2["问题2:早到数据要等到watermark才触发→延迟高"]
  P1 --> Tr["trigger补充机制(事件/处理时间、数据量或组合)"]
  P2 --> Tr
  Tr --> T1["早到数据:周期性提前触发(不必等watermark)"]
  Tr --> T2["迟到数据:定量触发(每N条迟到数据触发一次)"]
  Tr --> T3["设置allowed lateness,限制窗口状态保留"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》之"15.4.2 watermark、trigger与accumulation"(源文件:_epub-src/OEBPS/text00121.html) - 结论依据:原文说明"watermark是指当前未处理数据中最晚数据的event time(时间戳)……当watermark到达窗口边界时,可触发该窗口数据的计算,但这种严格的触发条件会带来问题。数据完整性:对于延迟到达的数据……这些数据无法得到计算(可能被丢弃)……计算延迟:对于过早到达的数据,需要等待足够长的时间才能得到计算……trigger……与watermark不同的是,trigger是定义在process time上的概念……对于过早到达的数据,可采用周期性触发机制……对于延迟到达的数据,可采用定量触发机制", 提供书中watermark与早晚触发的例子;触发类型和迟到数据的当前边界按下列Beam官方指南核验。 - 原始内容:Beam允许用户设置每个时间窗口的有效期,一旦有效期过后,延迟到达的数据可被丢弃。 - 外部核验:[Apache Beam编程指南](https://beam.apache.org/documentation/programming-guide/)将watermark列为事件时间进度估计,列出event-time、processing-time、data-driven和composite triggers;默认触发也基于event time,迟到数据处理还受allowed lateness约束。