知识卡片

结构图卡 · 1783.c.1.a.4

accumulation三种模式:定义同一窗口多次计算结果之间的关系

理解等级:未标注

[[watermark与trigger:在数据完整性和延迟之间的分工]]中trigger机制允许同一个时间窗口的数据被分成多个批次、多次触发计算,这就产生了一个新问题:这些先后产生的多份”阶段性结果”之间该是什么关系?accumulation正是用来定义这层关系的概念,Beam提供三种模式。丢弃(discarding)模式下,每次触发计算完成后,本批次涉及的所有中间状态(比如累加的和)会被直接清空,后续触发不会延续任何之前的状态——这种模式适合下游自己会做增量累加的场景,比如把每次结果各自写入存储、由另一个程序按时间区间把这些独立增量结果加总起来。累计(accumulating)模式相反,会持续保留每次计算的所有状态,让后续触发能在之前结果的基础上继续累积——适合用户希望每次拿到的都是”截至目前最新最准确的完整结果”这类场景,只需要用最新一次结果覆盖式写入下游即可,下游不必自己做任何累加。累计并撤销(accumulating & retracting)是最复杂的一种,不仅要给出新结果,还要主动撤销之前几轮已经输出的旧结果——典型场景是按不同维度重新聚集数据时(选择聚集维度会导致之前结果整体作废需要撤销),或是会话窗口这类窗口本身会动态合并的场景(新到达的数据可能让原本被认为独立的两个会话合并成一个,此前分别针对两个会话给出的统计结果都需要撤销重算)。可迁移启发:设计任何”允许阶段性输出、后续还可能修正”的增量计算系统时,都需要显式定义清楚新旧结果之间到底是”各自独立、下游自己合并”还是”新结果直接取代旧结果”还是”新结果需要连带撤销此前若干个旧结果”——这三种关系对下游消费方处理逻辑的复杂度要求依次递增,能用简单模式满足需求时不必上复杂模式。

结构图:

flowchart TB
  A["同一窗口多次触发的结果关系(accumulation)"]
  A --> D["丢弃(discarding)<br/>每次触发后清空状态,结果各自独立<br/>适合:下游自己做增量累加"]
  A --> AC["累计(accumulating)<br/>保留状态,结果持续累积更新<br/>适合:每次要最新最完整结果,覆盖式写入"]
  A --> AR["累计并撤销(accumulating&retracting)<br/>新结果+主动撤销旧结果<br/>适合:重新聚集维度/会话窗口动态合并"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》之"15.4.2 watermark、trigger与accumulation"(源文件:_epub-src/OEBPS/text00121.html) - 结论依据:原文说明"丢弃(discarding):在该模式下,每次处理完成后,Beam将丢弃该批次计算相关的所有状态……累计(accumulating):与'丢弃'模式相反,'累计'模式将保存每次计算相关的所有状态,进而使得这些状态信息可以累积到后续计算中……累计并撤销(accumulating&retracting):在这种模式下,每次计算结果将影响前面几轮的计算结果……按照不同维度重新聚集数据……动态时间窗口(比如会话窗口)", 直接支撑本卡关于三种accumulation模式的结构图。 - 原始内容:在这种场景下,每次新的时间窗口将合并前几个窗口的计算结果。比如在会话窗口中,属于同一会话中的数据不断到达,因而每个会话中的统计数据将不断被修正。