返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2577.d

任务调度分资源

理解等级:未标注

Spark的资源调度分两层:第一层由集群管理器(YARN的ResourceManager、Standalone的Master等)把资源分给应用;第二层由应用内的任务调度器把资源分给每个任务。任务调度器接收DAG调度器为每个Stage创建的任务集,按FIFO或FAIR算法分配资源、发到Executor执行,并负责失败重试和推测执行。它不决定DAG如何切分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00136.html) - 结论依据:原文说明Spark资源调度分两层:集群管理器把资源分配给Application,Application再分配给各Task;TaskSchedulerImpl接收每个Stage的Task集合,按调度算法分配资源、交给Executor运行、失败重试并推断执行。 - 原始内容:Spark资源调度分为两层:第一层是Cluster Manager(在YARN模式下为ResourceManager,在Mesos模式下为Mesos Master,在Standalone模式下为Master),将资源分配给Application;第二层是Application,进一步将资源分配给Application的各个Task。