知识卡片
Beam Combine 用可合并累加器计算聚合
Beam 的 CombineFn 把聚合拆为四步:创建局部累加器、加入输入、合并多个累加器、提取输出。求平均值时,累加器保存总和与个数;不同节点先分别累加,再合并这两个量,最后相除。聚合逻辑必须允许分片合并,不能只写一个依赖全局共享变量的顺序求值函数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》15.3.3 使用 Transform(源文件:`_epub-src/OEBPS/text00120.html`)
- 结论依据:原书列出 CombineFn 的四个方法,并以平均值的 sum/count 累加器说明局部计算与合并。
- 原始内容:mergeAccumulators:将多个Accumulator合并为一个。