知识卡片

普通读书笔记卡 · 1776.a.2

抓取可与Map执行重叠

理解等级:中级

Reduce任务的抓取阶段可在部分Map完成后开始,逐步收集已生成的中间文件;随后继续排序并等待所需输入齐全再执行用户归约。原文把“所有Map完成后Reduce任务才启动”说得过满,混淆任务与用户Reduce阶段。Hadoop 2.10默认描述为HTTP抓取,不能泛称必走HTTPS。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      Hadoop的MapReduce运行机制基本上与Google的MapReduce机制类似,图11-3是其运行机制示意图。Mapper任务调用用户自定义Map函数后对中间结果进行局部排序,然后运行Combiner对数据进行合并。Reducer任务的Shuffle过程就是上述MapReduce运行流程中的步骤5,不过Hadoop是采用HTTPS协议来进行数据传输的,并采用归并排序(Merge-Sort)来对中间结果Key进行排序,然后调用用户自定义Reduce函数进行业务逻辑处理并输出最终结果的。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落39(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://hadoop.apache.org/docs/r2.10.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html](https://hadoop.apache.org/docs/r2.10.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html)。 - 原始内容:Hadoop的MapReduce运行机制基本上与Google的MapReduce机制类似,图11-3是其运行机制示意图。Mapper任务调用用户自定义Map函数后对中间结果进行局部排序,然后运行Combiner对数据进行合并。Reducer任务的Shuffle过程就是上述MapReduce运行流程中的步骤5,不过Hadoop是采用HTTPS协议来进行数据传输的,并采用归并排序(Merge-Sort)来对中间结果Key进行排序,然后调用用户自定义Reduce函数进行业务逻辑处理并输出最终结果的。