知识卡片
Map Task结果落本地磁盘:两个反直觉的设计问题
MapReduce的一个初看反直觉的设计是:Map Task算完的中间结果不是留在内存或直接发给Reduce Task,而是先落到本地磁盘。作者用两个自问自答解释了原因。第一问:”为什么不写内存或直接发给Reduce?”——不能写内存,是因为一个集群往往同时运行多个作业、每个作业还可能分批运行多个Map Task,全部结果堆在内存里会耗光机器内存;不能直接发给Reduce,是因为MapReduce采用动态调度策略,Map Task和Reduce Task不是同时都调度好的(一开始往往只有Map Task在跑,Reduce Task还处于未调度状态),根本没有明确的”发给谁”这个对象。第二问:”为什么每个Map Task最终只产生一个数据文件(而不是提前按Reduce Task数量拆成多个小文件)?”——如果每个Map Task都为每个Reduce Task单独产生一个文件,M个Map Task和R个Reduce Task的组合会产生M×R个小文件,这类Map节点本地中间小文件会增加文件打开、Reduce拉取和管理开销,拖慢读取并影响扩展性,所以宁可在本地先合并成一个文件,让Reduce Task自己按需要去拉取其中对应的部分。这两个设计决策的共同底层逻辑是:把”结果暂存”这件事放在代价最低、最不影响其他资源(内存)、且能兼容”消费者还没确定”这个时间差(动态调度)的地方,同时刻意避免”文件数量随任务数平方增长”这类会拖累系统扩展性的组合爆炸。可迁移启发:设计生产者-消费者式的分布式流水线时,中间结果该暂存在哪里、该拆成多细的文件粒度,应该同时考虑”消费者是否此刻就已确定”和”文件/对象数量是否会随生产者×消费者数量组合爆炸”这两个约束,而不是想当然地选”最快”的内存或”最省事”的一对一文件映射;这里讨论的是Map节点本地文件,不是HDFS小文件问题。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。