知识卡片

结构图卡 · 2852.f.1.b

MapTask与ReduceTask的十阶段执行流程

理解等级:未标注

MapReduce的Map Task和Reduce Task之间采用pull模型传输数据(Reduce主动从Map端拉取,而非Map主动推送),这一设计选择贯穿了两边各自五个阶段的执行细节。Map Task五阶段:Read(用InputFormat从split解析出)→Map(交给用户的map()函数处理,产出新的)→Collect(调用OutputCollector.collect(),按Partitioner把结果分片写入一个环形内存缓冲区)→Spill(”溢写”,缓冲区满后先做本地排序、必要时合并压缩,再写到本地磁盘生成临时文件,参见[[Map Task结果落本地磁盘:两个反直觉的设计问题]])→Combine(所有数据处理完后对临时文件做一次合并,确保最终只产生一个数据文件)。Reduce Task五阶段:Shuffle/Copy(通过HTTP协议从各个已完成的Map Task远程拉取属于自己的数据分片,数据量小则放内存、大则落磁盘)→Merge(拷贝的同时用两个后台线程持续合并内存和磁盘上的文件,防止内存占用过多或磁盘小文件堆积)→Sort(因为各Map Task已经做过局部排序,Reduce端只需再做一次归并排序即可把key相同的记录聚到一起)→Reduce(把每组数据交给用户的reduce()函数处理)→Write(把结果写到HDFS)。整个链路的关键设计取舍在于:排序工作被拆成”Map端局部排序+Reduce端归并排序”两段完成,而不是把全部数据倒腾到一处再整体排序一次,这让每个阶段处理的数据规模都被限制在单机可承受的范围内。可迁移启发:当一个全局排序/聚合操作的数据量远超单机内存时,”各生产者先做局部排序、消费者再做归并排序”是把一次昂贵的全局排序拆解成多个廉价局部排序+一次相对轻量归并的通用套路。

结构图:

flowchart TB
  subgraph MapTask["Map Task五阶段"]
    R1["Read:InputFormat解析split"] --> M1["Map:map()函数处理"]
    M1 --> C1["Collect:Partitioner分片写入环形缓冲区"]
    C1 --> S1["Spill:缓冲区满→本地排序→写磁盘临时文件"]
    S1 --> CB["Combine:合并临时文件为单一文件"]
  end
  subgraph ReduceTask["Reduce Task五阶段"]
    SH["Shuffle/Copy:HTTP远程拉取Map端数据"] --> ME["Merge:后台线程合并内存/磁盘文件"]
    ME --> SO["Sort:归并排序(Map端已局部排序)"]
    SO --> RE["Reduce:reduce()函数处理"]
    RE --> W["Write:结果写入HDFS"]
  end
  CB -->|"pull模型:Reduce主动拉取"| SH
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》之"10.4.2 MapTask与ReduceTask"(源文件:_epub-src/OEBPS/text00082.html) - 结论依据:原文说明"我们将Map Task分解成Read、Map、Collect、Spill和Combine五个阶段,将Reduce Task分解成Shuffle、Merge、Sort、Reduce和Write五个阶段……总体上看,Map Task与Reduce Task之间的数据传输采用了pull模型……由于各个Map Task已经实现对自己的处理结果进行了局部排序,因此Reduce Task只需对所有数据进行一次归并排序即可", 直接支撑本卡十阶段流程的结构图。 - 原始内容:Reduce Task从各个Map Task上远程拷贝一片数据,并根据数据分片大小采取不同操作,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。