知识卡片

普通读书笔记卡 · 2698.d

Map输出分区排序

理解等级:未标注

Map 和 Reduce 之间有一段关键的数据搬运:Map 的输出先写到本地磁盘,并按键分成 N 个分区,位置上报给主节点;主节点通知各 Reduce 去拉取属于自己的分区,Reduce 先对拉来的键值对统一排序,再交给 reduce 函数。一个分区对应一个 Reduce、一个输出文件,所以分区方式决定了并行度和数据如何在网络上移动。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html) - 结论依据:原文说明Map输出的键值对定期写入本地磁盘,写入时再分为N个子区,并将子区和节点位置上报Master;Master通知Reduce读取指定Map输出,Reduce先对远程读取的键值对统一排序再交给Reduce函数;一个Reduce作业处理一个分区、对应一个输出文件。 - 原始内容:在写入过程中会将<key,value>键值对再分N个子区,并将每个<key,value>键值对所属的子区、worker节点位置上报给Master节点。……通常Reduce作业节点先会对远程读取到的键值对进行统一排序,再交给Reduce函数处理。……Reduce作业最终只对应一个输出文件。