知识卡片

普通读书笔记卡 · 2577.c

DAG按Shuffle切

理解等级:未标注

DAG调度器把一个作业的RDD图按Shuffle依赖切成多个Stage,并建立Stage之间的依赖:没有依赖关系的Stage可以并行,有依赖的按顺序执行。上游是负责产出Shuffle数据的ShuffleMapStage,最下游是产出结果的ResultStage。它只管逻辑执行图,不管任务放到哪台机器,那是[[任务调度分资源]]的职责。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00143.html) - 结论依据:原文说明DAGScheduler把Job的RDD划分到不同Stage并构建Stage依赖,使无依赖的Stage并行、有依赖的顺序执行;Stage分为ShuffleMapStage和最下游的ResultStage。 - 原始内容:DAGScheduler会将Job的RDD划分到不同的Stage,并构建这些Stage的依赖关系。这样可以使得没有依赖关系的Stage并行执行,并保证有依赖关系的Stage顺序执行。