知识卡片
部分聚合缩小全局瓶颈
全局计数若把每条记录都送到一台机器,分布式输入最终仍被单点归约限制。可合并聚合器先在各节点求局部计数,再把少量局部值相加得到总数。关键条件是部分结果能够正确组合;计数和求和满足,其他聚合须分别判断,不能认为所有计算都能不改变语义地提前归约。
与[[MapReduce抽象]]的联系:局部可合并结果减少全局归约节点需要接收的记录。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
所有的合并聚合器都是以这种方式工作的——先做部分聚合,然后合并部分结果得到所需的结果。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/051.xhtml)
- 结论依据:正文用全局计数说明单组瓶颈,以及局部计数与合并的作用。
- 原始内容:所有的合并聚合器都是以这种方式工作的——先做部分聚合,然后合并部分结果得到所需的结果。