知识卡片

普通读书笔记卡 · 1786.b.5

部分聚合缩小全局瓶颈

理解等级:中级

全局计数若把每条记录都送到一台机器,分布式输入最终仍被单点归约限制。可合并聚合器先在各节点求局部计数,再把少量局部值相加得到总数。关键条件是部分结果能够正确组合;计数和求和满足,其他聚合须分别判断,不能认为所有计算都能不改变语义地提前归约。

与[[MapReduce抽象]]的联系:局部可合并结果减少全局归约节点需要接收的记录。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      所有的合并聚合器都是以这种方式工作的——先做部分聚合,然后合并部分结果得到所需的结果。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/051.xhtml) - 结论依据:正文用全局计数说明单组瓶颈,以及局部计数与合并的作用。 - 原始内容:所有的合并聚合器都是以这种方式工作的——先做部分聚合,然后合并部分结果得到所需的结果。