返回主题:Spark内核执行机制

知识卡片

结构图卡 · 2580.d.1

transformation与action的惰性执行分工

理解等级:未标注

作用在RDD上的算子分成两类,这个划分不是随意的命名习惯,而是直接决定了Spark程序的执行时机。transformation(如map、filter、groupByKey)的类型签名是RDD[X]→RDD[Y]——输入输出都是RDD,且调用它时并不会触发任何真正的分布式计算,只是把”这一步要怎么从当前RDD变换出下一个RDD”这条转换关系记录进[[RDD的”弹性”含义与血统(lineage)容错机制]]描述的血统链里;action(如collect、reduce、count、saveAsTextFile)的类型签名是RDD[X]→Z——输出不再是RDD而是一个具体的值/数组/文件,且只有调用action时,Spark才会真正沿着此前累积的整条transformation链条触发一次实际的分布式执行。这种”transformation先攒着、action才真正触发计算”的惰性执行模型,给了Spark引擎一个宝贵的全局优化窗口——因为在真正执行之前,整条计算链的完整形状(有哪些步骤、依赖关系如何)已经全部摆在眼前,引擎可以在触发前统筹考虑如何合并、调度这些步骤(比如避免重复计算、决定哪些阶段可以流水线化处理),而不是像”每写一行代码就立刻执行一步”那样只能看到眼前这一步、无法做全局规划。可迁移启发:一个计算框架如果想在执行前做跨步骤的全局优化,往往需要先把”描述要做什么”和”真正去做”这两件事分离开——用类似transformation的惰性声明机制积累完整的计算意图,再用类似action的显式触发点启动真正执行,比”声明即执行”的即时模型更容易获得全局优化的空间。

结构图:

flowchart LR
  A["transformation<br/>RDD[X]→RDD[Y]<br/>惰性:只记录转换关系,不触发计算"] -->|"链式累积"| A
  A --> B["action<br/>RDD[X]→Z(非RDD)<br/>触发沿整条链的真正分布式执行"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.2.1 Spark核心概念"(源文件:_epub-src/OEBPS/text00088.html) - 结论依据:原文说明"Transformation:RDD[X]→RDD[Y]……Action:RDD[X]→Z(Z不是一个RDD,可能是基本类型,数组等)……Spark程序是惰性执行(Lazy Execution)的,transformation只会记录RDD的转化关系,并不会触发真正的分布式计算,而action才会触发程序的分布式执行", 直接支撑本卡关于transformation与action分工的结构图。 - 原始内容:Spark是一个通用DAG引擎,这使得用户能够在一个应用程序中描述复杂的逻辑,以便于优化整个数据流(比如避免重复计算等)。