知识卡片
watermark与trigger:在数据完整性和延迟之间的分工
流式数据存在两个天然麻烦:处理时间(process time)总是落后于产生时间(event time),且数据到达顺序可能和产生顺序不一致(乱序)。这带来一个根本性的判断难题:”一个按event time划分的时间窗口,到底什么时候才能认为里面的数据已经到齐、可以开始计算?”watermark就是Beam给出的答案——它是事件时间进度的估计界线,表示系统预计更早事件已基本到齐;越过watermark后仍可能收到迟到数据,处理方式取决于allowed lateness和trigger设置。但严格按watermark触发计算会同时制造两个对立的问题:如果坚持等到watermark越过窗口边界才触发,那些watermark之后才到达的数据可能因允许迟到期限为零而被丢弃,也可能触发迟到结果,影响结果完整性;但如果不设置任何等待就立刻处理,那些早到的数据可能需要等待较久才能看到窗口计算结果,处理延迟被拉长。trigger就是为了在这两难之间做灵活折中而引入的补充机制——它可基于event time、process time、元素数量或组合条件;书中介绍的周期性process-time触发只是其中一类,允许用户设置”什么时机该把当前窗口内已聚集的结果先对外可见”:可以设成”比watermark提前若干时间就周期性触发一次”(让过早到达、聚集充分的数据尽快看到阶段性结果,不必死等到watermark),也可以设成”每收到若干条迟到数据就触发一次”(让少量迟到数据不至于被完全丢弃,用增量小批次的方式追加进结果,而不占用太多计算资源)。为了防止无限期保留过期窗口状态,Beam还允许显式设置”窗口最大允许延迟”,超过允许迟到期限的数据可被丢弃;具体行为还取决于窗口与Runner实现。可迁移启发:当一个系统同时被”完整性”和”延迟”两个互相制约的目标拉扯时,watermark式的”划定一条尽量准的完整性分界线”和trigger式的”在分界线前后灵活设置多个触发点、让结果分阶段逐步逼近完整”两者结合使用,比单纯选择”死等完整”或”立刻输出”某一个极端更能兼顾两个目标。
结构图:
flowchart TB
A["流式数据两大麻烦:处理延迟+乱序"]
A --> W["watermark:事件时间进度估计<br/>越过后仍可有迟到数据"]
W --> P1["问题1:默认零允许迟到→迟到数据可能被丢弃"]
W --> P2["问题2:早到数据要等到watermark才触发→延迟高"]
P1 --> Tr["trigger补充机制(事件/处理时间、数据量或组合)"]
P2 --> Tr
Tr --> T1["早到数据:周期性提前触发(不必等watermark)"]
Tr --> T2["迟到数据:定量触发(每N条迟到数据触发一次)"]
Tr --> T3["设置allowed lateness,限制窗口状态保留"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。