返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2580.d

Action触发执行

理解等级:未标注

转换操作只是在构建RDD之间的依赖图,并不真正计算;collect这类动作才调用runJob,把RDD图提交给DAG调度器,切分Stage、创建任务、分发执行,再把结果收回Driver。所以代码“写完”不等于计算发生,报错也常常在动作处才出现。collect把全部结果拉到Driver,数据量大时要改用写出或抽样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00299.html、_epub-src/EPUB/text00309.html) - 结论依据:原文说明collect方法调用SparkContext的runJob提交基于RDD所有分区的作业并以数组返回结果,runJob最终把RDD组成的DAG提交给DAGScheduler进行Stage划分与调度。 - 原始内容:collect方法(见代码清单10-21)将调用SparkContext的runJob方法(见代码清单4-29)提交基于RDD的所有分区上的作业,并返回数组形式的结果。……进而将RDD组成的DAG提交给DAGScheduler进行调度。