← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.132Z

Hadoop的MapReduce运行机制基本上与Google的MapReduce机制类似,图11-3是其运行机制示意图。Mapper任务调用用户自定义Map函数后对中间结果进行局部排序,然后运行Combiner对数据进行合并。Reducer任务的Shuffle过程就是上述MapReduce运行流程中的步骤5,不过Hadoop是采用HTTPS协议来进行数据传输的,并采用归并排序(Merge-Sort)来对中间结果Key进行排序,然后调用用户自定义Reduce函数进行业务逻辑处理并输出最终结果的。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d