知识卡片
accumulation三种模式:定义同一窗口多次计算结果之间的关系
[[watermark与trigger:在数据完整性和延迟之间的分工]]中trigger机制允许同一个时间窗口的数据被分成多个批次、多次触发计算,这就产生了一个新问题:这些先后产生的多份”阶段性结果”之间该是什么关系?accumulation正是用来定义这层关系的概念,Beam提供三种模式。丢弃(discarding)模式下,每次触发计算完成后,本批次涉及的所有中间状态(比如累加的和)会被直接清空,后续触发不会延续任何之前的状态——这种模式适合下游自己会做增量累加的场景,比如把每次结果各自写入存储、由另一个程序按时间区间把这些独立增量结果加总起来。累计(accumulating)模式相反,会持续保留每次计算的所有状态,让后续触发能在之前结果的基础上继续累积——适合用户希望每次拿到的都是”截至目前最新最准确的完整结果”这类场景,只需要用最新一次结果覆盖式写入下游即可,下游不必自己做任何累加。累计并撤销(accumulating & retracting)是最复杂的一种,不仅要给出新结果,还要主动撤销之前几轮已经输出的旧结果——典型场景是按不同维度重新聚集数据时(选择聚集维度会导致之前结果整体作废需要撤销),或是会话窗口这类窗口本身会动态合并的场景(新到达的数据可能让原本被认为独立的两个会话合并成一个,此前分别针对两个会话给出的统计结果都需要撤销重算)。可迁移启发:设计任何”允许阶段性输出、后续还可能修正”的增量计算系统时,都需要显式定义清楚新旧结果之间到底是”各自独立、下游自己合并”还是”新结果直接取代旧结果”还是”新结果需要连带撤销此前若干个旧结果”——这三种关系对下游消费方处理逻辑的复杂度要求依次递增,能用简单模式满足需求时不必上复杂模式。
结构图:
flowchart TB
A["同一窗口多次触发的结果关系(accumulation)"]
A --> D["丢弃(discarding)<br/>每次触发后清空状态,结果各自独立<br/>适合:下游自己做增量累加"]
A --> AC["累计(accumulating)<br/>保留状态,结果持续累积更新<br/>适合:每次要最新最完整结果,覆盖式写入"]
A --> AR["累计并撤销(accumulating&retracting)<br/>新结果+主动撤销旧结果<br/>适合:重新聚集维度/会话窗口动态合并"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。