知识卡片

普通读书笔记卡 · 2578.d

MapTask写位置

理解等级:未标注

ShuffleMapTask计算完上游数据后,按分区把输出写入Shuffle文件,然后向调度器返回一个MapStatus:输出在哪个BlockManager、每个分区多大。下游能开始,靠的不只是数据写完,还有位置被登记进[[Shuffle位置账本]]。分区很多时,MapStatus会改用高度压缩的格式(超过2000个分区),以免元数据本身撑大Driver。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00205.html、_epub-src/EPUB/text00226.html) - 结论依据:原文说明ShuffleMapTask对输入数据计算后把输出映射到不同分区,MapStatus表示ShuffleMapTask返回给TaskScheduler的执行结果;分区数超过2000时使用高度压缩的HighlyCompressedMapStatus。 - 原始内容:ShuffleMapTask类似于Hadoop中的MapTask,从其命名可以看出,它对输入数据计算后,将输出的数据在Shuffle之前映射到不同的分区,那么下游处理各个分区的Task将知道处理哪些数据。……MapStatus用于表示ShuffleMapTask返回给TaskScheduler的执行结果。