返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

普通读书笔记卡 · 1776.f

Combiner须允许重复调用

理解等级:中级

Combiner是可选的局部合并,框架可能不执行或执行多次,因此结果必须不依赖调用次数和分组方式。求和、最值等适用,平均值应传(sum,count)后合并,不能简单平均各分区均值;中位数也不能以局部中位数直接替代。它减少Shuffle,但不能改变计算语义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 大规模批处理系统 · 查看原书依据

      为了优化执行效率,MapReduce计算框架在Map阶段还可以执行可选的Combiner操作。所谓“Combiner操作”,即是在Map阶段执行的将中间数据中具有相同Key的Value值合并的过程,其业务逻辑一般和Reduce阶段的逻辑是相似的,和Reduce的区别无非是其在Map任务本地产生的局部数据上操作,而非像Reduce任务一样是在全局数据上操作而已。这样做的好处是可以大大地减少中间数据数量,于是就减少了网络传输量,提高了系统效率。比如上面的单词计数例子中,如果Map阶段的中间结果数据中对单词进行了Combiner操作,则对某个单词来说网络只须传输一个<key,value>数值即可,而无须传输Value个<key,1>,这明显大大减少了网络传输量。Combiner一般也作为与Map和Reduce并列的用户自定义函数接口的方式存在。

    • 图数据库:架构与算法 · 查看原书依据

      Combine操作在本地机器Map操作后,首先将具有相同key值的Map结果数据value部分进行本地聚合,这样本来应该分别传输的项目即被合并,大大减少了网络传输量,加快了计算速度。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落38(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:为了优化执行效率,MapReduce计算框架在Map阶段还可以执行可选的Combiner操作。所谓“Combiner操作”,即是在Map阶段执行的将中间数据中具有相同Key的Value值合并的过程,其业务逻辑一般和Reduce阶段的逻辑是相似的,和Reduce的区别无非是其在Map任务本地产生的局部数据上操作,而非像Reduce任务一样是在全局数据上操作而已。这样做的好处是可以大大地减少中间数据数量,于是就减少了网络传输量,提高了系统效率。比如上面的单词计数例子中,如果Map阶段的中间结果数据中对单词进行了Combiner操作,则对某个单词来说网络只须传输一个<key,value>数值即可,而无须传输Value个<key,1>,这明显大大减少了网络传输量。Combiner一般也作为与Map和Reduce并列的用户自定义函数接口的方式存在。 - 合并补充来源:《大数据日知录:架构与算法》第14章;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00019.html;SHA256:0dba32d989265047e718cd19d30452cbb4d043d8c81916609bc1c0ad89993961;摘录出现次序:1。 - 本章原始内容:Combine操作在本地机器Map操作后,首先将具有相同key值的Map结果数据value部分进行本地聚合,这样本来应该分别传输的项目即被合并,大大减少了网络传输量,加快了计算速度。