← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.132Z

为了优化执行效率,MapReduce计算框架在Map阶段还可以执行可选的Combiner操作。所谓“Combiner操作”,即是在Map阶段执行的将中间数据中具有相同Key的Value值合并的过程,其业务逻辑一般和Reduce阶段的逻辑是相似的,和Reduce的区别无非是其在Map任务本地产生的局部数据上操作,而非像Reduce任务一样是在全局数据上操作而已。这样做的好处是可以大大地减少中间数据数量,于是就减少了网络传输量,提高了系统效率。比如上面的单词计数例子中,如果Map阶段的中间结果数据中对单词进行了Combiner操作,则对某个单词来说网络只须传输一个<key,value>数值即可,而无须传输Value个<key,1>,这明显大大减少了网络传输量。Combiner一般也作为与Map和Reduce并列的用户自定义函数接口的方式存在。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d

本卡其他出处