知识卡片

普通读书笔记卡 · 1783.c.1.a.5

Beam Combine 用可合并累加器计算聚合

理解等级:中级

Beam 的 CombineFn 把聚合拆为四步:创建局部累加器、加入输入、合并多个累加器、提取输出。求平均值时,累加器保存总和与个数;不同节点先分别累加,再合并这两个量,最后相除。聚合逻辑必须允许分片合并,不能只写一个依赖全局共享变量的顺序求值函数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》15.3.3 使用 Transform(源文件:`_epub-src/OEBPS/text00120.html`) - 结论依据:原书列出 CombineFn 的四个方法,并以平均值的 sum/count 累加器说明局部计算与合并。 - 原始内容:mergeAccumulators:将多个Accumulator合并为一个。