返回主题:Spark内核执行机制

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2852.f.1.a

Map Task结果落本地磁盘:两个反直觉的设计问题

理解等级:未标注

MapReduce的一个初看反直觉的设计是:Map Task算完的中间结果不是留在内存或直接发给Reduce Task,而是先落到本地磁盘。作者用两个自问自答解释了原因。第一问:”为什么不写内存或直接发给Reduce?”——不能写内存,是因为一个集群往往同时运行多个作业、每个作业还可能分批运行多个Map Task,全部结果堆在内存里会耗光机器内存;不能直接发给Reduce,是因为MapReduce采用动态调度策略,Map Task和Reduce Task不是同时都调度好的(一开始往往只有Map Task在跑,Reduce Task还处于未调度状态),根本没有明确的”发给谁”这个对象。第二问:”为什么每个Map Task最终只产生一个数据文件(而不是提前按Reduce Task数量拆成多个小文件)?”——如果每个Map Task都为每个Reduce Task单独产生一个文件,M个Map Task和R个Reduce Task的组合会产生M×R个小文件,这类Map节点本地中间小文件会增加文件打开、Reduce拉取和管理开销,拖慢读取并影响扩展性,所以宁可在本地先合并成一个文件,让Reduce Task自己按需要去拉取其中对应的部分。这两个设计决策的共同底层逻辑是:把”结果暂存”这件事放在代价最低、最不影响其他资源(内存)、且能兼容”消费者还没确定”这个时间差(动态调度)的地方,同时刻意避免”文件数量随任务数平方增长”这类会拖累系统扩展性的组合爆炸。可迁移启发:设计生产者-消费者式的分布式流水线时,中间结果该暂存在哪里、该拆成多细的文件粒度,应该同时考虑”消费者是否此刻就已确定”和”文件/对象数量是否会随生产者×消费者数量组合爆炸”这两个约束,而不是想当然地选”最快”的内存或”最省事”的一对一文件映射;这里讨论的是Map节点本地文件,不是HDFS小文件问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》之"10.4.2 MapTask与ReduceTask"(源文件:_epub-src/OEBPS/text00082.html) - 结论依据:原文说明"Map Task不能够将数据写入内存,因为一个集群中可能会同时运行多个作业,且每个作业可能分多批运行Map Task,显然,将计算结果直接写入内存会耗光机器的内存;其次,MapReduce采用的是动态调度策略,这意味着,一开始只有Map Task执行,而Reduce Task则处于未调度状态,因此无法将Map Task计算结果直接发送给Reduce Task……如果每个Map Task产生多个数据文件……则会生成大量中间小文件,这将大大降低文件读取性能,并严重影响系统扩展性(M个Map Task和R个Reduce Task可能产生M*R个小文件)", 直接支撑本卡关于两个设计问题的结论。 - 原始内容:将Map Task写入本地磁盘,使得Reduce Task执行失败时可直接从磁盘上再次读取各个Map Task的结果,而无需让所有Map Task重新执行。