知识卡片

普通读书笔记卡 · 2579.e

YARN分层调度

理解等级:未标注

YARN把全局资源管理和应用内调度分层:ResourceManager负责整个集群的资源分配,分配单位是封装了CPU、内存的Container;每个应用的ApplicationMaster向它申请Container,再自行决定任务怎么划分和调度。Spark跑在YARN上时,由自己的AM申请Executor,任务调度仍由Driver完成,思路同[[MRv1集中瓶颈]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00285.html) - 结论依据:原文说明YARN把JobTracker分为ResourceManager(整个集群的资源管理和调度,分配单位为Container)和ApplicationMaster(具体应用的任务划分与调度);AM向RM申请Container。 - 原始内容:RM负责整个集群的资源管理和调度,AM负责具体应用程序的任务划分、调度等工作……资源的分配单位不再是MRv1中的slot,而是Container。Container是对CPU、内存等资源的封装。