知识卡片
MapTask写位置
ShuffleMapTask计算完上游数据后,按分区把输出写入Shuffle文件,然后向调度器返回一个MapStatus:输出在哪个BlockManager、每个分区多大。下游能开始,靠的不只是数据写完,还有位置被登记进[[Shuffle位置账本]]。分区很多时,MapStatus会改用高度压缩的格式(超过2000个分区),以免元数据本身撑大Driver。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00205.html、_epub-src/EPUB/text00226.html)
- 结论依据:原文说明ShuffleMapTask对输入数据计算后把输出映射到不同分区,MapStatus表示ShuffleMapTask返回给TaskScheduler的执行结果;分区数超过2000时使用高度压缩的HighlyCompressedMapStatus。
- 原始内容:ShuffleMapTask类似于Hadoop中的MapTask,从其命名可以看出,它对输入数据计算后,将输出的数据在Shuffle之前映射到不同的分区,那么下游处理各个分区的Task将知道处理哪些数据。……MapStatus用于表示ShuffleMapTask返回给TaskScheduler的执行结果。