知识卡片
Spark作业三阶段生命周期与Application-Job-Stage-Task层级关系
一个Spark应用从提交到运行完,依次经历三个阶段。生成逻辑计划:Driver根据程序里RDD之间的依赖关系构造出一张DAG——图中每个点是一个RDD、每条边是两个RDD之间的转换方式,本质上是把用户代码直接翻译成一张计算关系图。生成物理计划:Driver按照固定原则把这张逻辑DAG切分成若干个有依赖关系的Stage——切分原则是”以Shuffle依赖为界”,凡是不产生Shuffle的一串RDD转换(如map、filter)会被尽可能压缩进同一个Stage,只有遇到reduceByKey、join、groupByKey这类真正需要跨节点重新洗牌数据的算子,才会切出一个新Stage;每个Stage内部可并行执行的Task数目由该Stage对应RDD的Partition数目决定。调度并执行任务:Driver按Stage间的依赖顺序,把每个Stage对应的Task序列化后调度到多个Executor上并行执行,同时持续监控任务状态、失败则重新调度。这三层划分对应到运行时呈现出一套清晰的层级关系:一个Application(一次独立的Spark程序运行,内部只有一个SparkContext)内部,每个action算子会各自产生一个独立的Job;每个Job按上述Shuffle分界规则被拆成多个Stage;每个Stage内部又包含多个彼此独立、可并行执行的Task(只有两类:处于Job最后一个Stage的叫ResultTask,其余都叫ShuffledMapTask)。可迁移启发:”以真正需要跨节点数据交换的操作为界切分执行阶段、阶段内部尽量压缩合并本地操作”是DAG执行引擎划分并行粒度的通用原则——本地可流水线执行的操作不必强行拆成多个调度单元,只有数据必须跨节点重新分布时才值得付出一次调度切分的代价。
结构图:
flowchart TB
A["Application(一个SparkContext)"]
A --> J1["Job 1(每个action算子产生一个Job)"]
A --> J2["Job 2"]
J1 --> S1["Stage(以Shuffle依赖为界切分,非Shuffle操作尽量压缩进同一Stage)"]
S1 --> T1["Task(并行数=Partition数;ShuffledMapTask或ResultTask)"]
P["三阶段流程"] --> P1["1.生成逻辑计划:RDD依赖→DAG"]
P1 --> P2["2.生成物理计划:按Shuffle切分Stage"]
P2 --> P3["3.调度执行:Task分发到Executor,失败重调度"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。