知识卡片

结构图卡 · 2577.c.1

Spark作业三阶段生命周期与Application-Job-Stage-Task层级关系

理解等级:未标注

一个Spark应用从提交到运行完,依次经历三个阶段。生成逻辑计划:Driver根据程序里RDD之间的依赖关系构造出一张DAG——图中每个点是一个RDD、每条边是两个RDD之间的转换方式,本质上是把用户代码直接翻译成一张计算关系图。生成物理计划:Driver按照固定原则把这张逻辑DAG切分成若干个有依赖关系的Stage——切分原则是”以Shuffle依赖为界”,凡是不产生Shuffle的一串RDD转换(如map、filter)会被尽可能压缩进同一个Stage,只有遇到reduceByKey、join、groupByKey这类真正需要跨节点重新洗牌数据的算子,才会切出一个新Stage;每个Stage内部可并行执行的Task数目由该Stage对应RDD的Partition数目决定。调度并执行任务:Driver按Stage间的依赖顺序,把每个Stage对应的Task序列化后调度到多个Executor上并行执行,同时持续监控任务状态、失败则重新调度。这三层划分对应到运行时呈现出一套清晰的层级关系:一个Application(一次独立的Spark程序运行,内部只有一个SparkContext)内部,每个action算子会各自产生一个独立的Job;每个Job按上述Shuffle分界规则被拆成多个Stage;每个Stage内部又包含多个彼此独立、可并行执行的Task(只有两类:处于Job最后一个Stage的叫ResultTask,其余都叫ShuffledMapTask)。可迁移启发:”以真正需要跨节点数据交换的操作为界切分执行阶段、阶段内部尽量压缩合并本地操作”是DAG执行引擎划分并行粒度的通用原则——本地可流水线执行的操作不必强行拆成多个调度单元,只有数据必须跨节点重新分布时才值得付出一次调度切分的代价。

结构图:

flowchart TB
  A["Application(一个SparkContext)"]
  A --> J1["Job 1(每个action算子产生一个Job)"]
  A --> J2["Job 2"]
  J1 --> S1["Stage(以Shuffle依赖为界切分,非Shuffle操作尽量压缩进同一Stage)"]
  S1 --> T1["Task(并行数=Partition数;ShuffledMapTask或ResultTask)"]
  P["三阶段流程"] --> P1["1.生成逻辑计划:RDD依赖→DAG"]
  P1 --> P2["2.生成物理计划:按Shuffle切分Stage"]
  P2 --> P3["3.调度执行:Task分发到Executor,失败重调度"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.5 Spark内部原理"(源文件:_epub-src/OEBPS/text00091.html) - 结论依据:原文说明"Spark划分阶段的原则是以Shuffle依赖为界划分stage,并将非shuffle依赖的RDD尽可能压缩到一个stage中……Application:一个独立可执行的Spark应用程序,内部只包含一个SparkContext对象;Job:每个Action算子会产生一个Job……Stage:每个Job内部会产生多个Stage……Task:每个Stage可包含多个Task……只有两类Task:ShuffledMapTask和ResultTask,同一个Job最后一个阶段中的Task为ResultTask,其余为ShuffledMapTask", 直接支撑本卡三阶段流程与层级关系的结构图。 - 原始内容:在每个stage中,可并发执行的Task数目是由RDD的Partition数目决定的。