知识卡片
DAG按Shuffle切
DAG调度器把一个作业的RDD图按Shuffle依赖切成多个Stage,并建立Stage之间的依赖:没有依赖关系的Stage可以并行,有依赖的按顺序执行。上游是负责产出Shuffle数据的ShuffleMapStage,最下游是产出结果的ResultStage。它只管逻辑执行图,不管任务放到哪台机器,那是[[任务调度分资源]]的职责。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00143.html)
- 结论依据:原文说明DAGScheduler把Job的RDD划分到不同Stage并构建Stage依赖,使无依赖的Stage并行、有依赖的顺序执行;Stage分为ShuffleMapStage和最下游的ResultStage。
- 原始内容:DAGScheduler会将Job的RDD划分到不同的Stage,并构建这些Stage的依赖关系。这样可以使得没有依赖关系的Stage并行执行,并保证有依赖关系的Stage顺序执行。