知识卡片
Yarn是纯调度器
Yarn 的 ResourceManager 包含调度器和应用管理器。调度器是“纯调度器”:只按容量、队列等限制和各应用的资源需求分配资源,不监控、不跟踪应用的执行状态,也不负责重启失败的任务。资源以 Container 为单位分配,把内存、CPU、磁盘、网络封装在一起,限定每个任务能用多少资源;节点上的 NodeManager 负责启动容器并汇报资源使用。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml)
- 结论依据:原文说明ResourceManager包含调度器和应用管理器;调度器根据容量、队列等限制把资源分配给应用,是“纯调度器”,不负责监控或跟踪应用执行状态,也不负责重启失败任务,仅根据资源需求通过资源容器调度;Container把内存、CPU、磁盘和网络封装在一起。
- 原始内容:这里的调度器是一个“纯调度器”,因为它不再负责监控或者跟踪应用的执行状态等,此外,它也不再负责因应用执行失败或者硬件故障而需要重新启动的失败任务。……Container是Yarn中资源的抽象,它将内存、CPU、磁盘和网络等资源封装在一起。