知识卡片
MapTask与ReduceTask的十阶段执行流程
MapReduce的Map Task和Reduce Task之间采用pull模型传输数据(Reduce主动从Map端拉取,而非Map主动推送),这一设计选择贯穿了两边各自五个阶段的执行细节。Map Task五阶段:Read(用InputFormat从split解析出)→Map(交给用户的map()函数处理,产出新的)→Collect(调用OutputCollector.collect(),按Partitioner把结果分片写入一个环形内存缓冲区)→Spill(”溢写”,缓冲区满后先做本地排序、必要时合并压缩,再写到本地磁盘生成临时文件,参见[[Map Task结果落本地磁盘:两个反直觉的设计问题]])→Combine(所有数据处理完后对临时文件做一次合并,确保最终只产生一个数据文件)。Reduce Task五阶段:Shuffle/Copy(通过HTTP协议从各个已完成的Map Task远程拉取属于自己的数据分片,数据量小则放内存、大则落磁盘)→Merge(拷贝的同时用两个后台线程持续合并内存和磁盘上的文件,防止内存占用过多或磁盘小文件堆积)→Sort(因为各Map Task已经做过局部排序,Reduce端只需再做一次归并排序即可把key相同的记录聚到一起)→Reduce(把每组数据交给用户的reduce()函数处理)→Write(把结果写到HDFS)。整个链路的关键设计取舍在于:排序工作被拆成”Map端局部排序+Reduce端归并排序”两段完成,而不是把全部数据倒腾到一处再整体排序一次,这让每个阶段处理的数据规模都被限制在单机可承受的范围内。可迁移启发:当一个全局排序/聚合操作的数据量远超单机内存时,”各生产者先做局部排序、消费者再做归并排序”是把一次昂贵的全局排序拆解成多个廉价局部排序+一次相对轻量归并的通用套路。
结构图:
flowchart TB
subgraph MapTask["Map Task五阶段"]
R1["Read:InputFormat解析split"] --> M1["Map:map()函数处理"]
M1 --> C1["Collect:Partitioner分片写入环形缓冲区"]
C1 --> S1["Spill:缓冲区满→本地排序→写磁盘临时文件"]
S1 --> CB["Combine:合并临时文件为单一文件"]
end
subgraph ReduceTask["Reduce Task五阶段"]
SH["Shuffle/Copy:HTTP远程拉取Map端数据"] --> ME["Merge:后台线程合并内存/磁盘文件"]
ME --> SO["Sort:归并排序(Map端已局部排序)"]
SO --> RE["Reduce:reduce()函数处理"]
RE --> W["Write:结果写入HDFS"]
end
CB -->|"pull模型:Reduce主动拉取"| SH
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。