知识卡片

普通读书笔记卡 · 2578.e

ResultTask收尾

理解等级:未标注

Task是Spark作业运行的最小单位,分两种:ShuffleMapTask为下游准备Shuffle数据;ResultTask读取上游输出,沿RDD的迭代器触发计算,得出交给用户动作(如collect)的最终结果。为了容错,每个Task可能有多次尝试,每次尝试单独申请内存。ResultTask把整条依赖链收束成一个返回值。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00204.html、_epub-src/EPUB/text00206.html) - 结论依据:原文说明Task是作业运行的最小单位,分ShuffleMapTask和ResultTask两种,每个Task可能有一到多次尝试;ResultTask读取上游ShuffleMapTask输出的数据并计算得到最终结果。 - 原始内容:Task是Spark中作业运行的最小单位,为了容错,每个Task可能会有一到多次任务尝试。……ResultTask类似于Hadoop中的ResultTask,从其命名可以看出,它读取上游ShuffleMapTask输出的数据并计算得到最终的结果。