知识卡片

普通读书笔记卡 · 2572.b

Stage拆解流水线

理解等级:未标注

Hadoop把“写中间结果”和“读中间结果”两个环节简单串行衔接。Spark把计算拆成多个阶段(Stage),以Shuffle依赖为边界切分:有依赖关系的Stage按顺序执行,没有依赖的可以并行。于是一个作业可以是一到多个Stage组成的有向无环图,调度器只在必须等待的地方等待,见[[DAG按Shuffle切]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第2章《设计理念与基本架构》(源文件:_epub-src/EPUB/text00022.html、_epub-src/EPUB/text00024.html) - 结论依据:原文说明Hadoop把写中间结果与读中间结果简单串行衔接,Spark把不同环节抽象为Stage,多个Stage可串行也可并行;DAGScheduler以ShuffleDependency为划分节点,一个Job可分为一到多个Stage。 - 原始内容:Spark把不同的环节抽象为Stage,允许多个Stage既可以串行执行,又可以并行执行。……DAGScheduler按照ShuffleDependency作为Stage的划分节点对RDD的DAG进行Stage划分(上游的Stage将为ShuffleMapStage)。