知识卡片
Action触发执行
转换操作只是在构建RDD之间的依赖图,并不真正计算;collect这类动作才调用runJob,把RDD图提交给DAG调度器,切分Stage、创建任务、分发执行,再把结果收回Driver。所以代码“写完”不等于计算发生,报错也常常在动作处才出现。collect把全部结果拉到Driver,数据量大时要改用写出或抽样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00299.html、_epub-src/EPUB/text00309.html)
- 结论依据:原文说明collect方法调用SparkContext的runJob提交基于RDD所有分区的作业并以数组返回结果,runJob最终把RDD组成的DAG提交给DAGScheduler进行Stage划分与调度。
- 原始内容:collect方法(见代码清单10-21)将调用SparkContext的runJob方法(见代码清单4-29)提交基于RDD的所有分区上的作业,并返回数组形式的结果。……进而将RDD组成的DAG提交给DAGScheduler进行调度。