知识卡片
作业主控分离全局资源
YARN将全局资源分配交给ResourceManager,每个应用的ApplicationMaster管理该应用任务,NodeManager管理节点容器。客户端提交后先分配并启动AM,再由AM申请任务容器、联系节点启动和释放资源。AM不是整个集群的唯一调度器,拆开职责也不自动消除RM故障,需要单独高可用机制。
结构图:
sequenceDiagram
participant U as 客户端
participant R as ResourceManager
participant N as NodeManager
participant A as ApplicationMaster
U->>R: 提交应用
R->>N: 分配并启动AM
A->>R: 请求任务容器
R-->>A: 返回资源
A->>N: 启动任务
A->>R: 释放资源
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
YARN是Hadoop 2.0的重要组成部分,也被称为MRV2,其全称是“另一个资源协调器”(Yet Another Resource Negotiator)。顾名思义,它是一个独立的资源管理系统。MRV2与MRV1相比,最大的改变就是抽象出YARN这个独立的资源调度系统。从资源管理系统范型来说,YARN同Mesos一样,是一个典型的两级调度器。与Mesos比较,由于Hadoop的广泛流行,再加上YARN代表了Hadoop的未来发展趋势,所以相比而言更活跃,其发展前景更乐观。目前已经有很多大数据计算框架移植到YARN平台下,比如MR、流式计算系统Storm和Samza,图计算系统Giraph、DAG 计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据计算框架的基础资源管理平台。
- 集群资源管理与调度 · 查看原书依据
YARN是Hadoop 2.0的重要组成部分,也被称作MRV2,其全称是“另一个资源协调器”(Yet Another Resource Negotiator),顾名思义,其是一个独立的资源管理系统。MRV2与MRV1相比,最大的改变就是抽象出YARN这个独立资源调度系统。在MRV1中,所有任务的资源管理以及生命期管理都由全局唯一的JobTracker来负责,造成了JobTracker功能繁复,成为整个Hadoop系统的瓶颈,严重限制了系统的可扩展性,之前报道MRV1系统最大能支持的集群规模为4 000台服务器。另外,JobTracker还存在单点失效问题,当JobTracker故障时,整个Hadoop集群不可用。而MRV2将资源管理和任务生命期管理功能分离,由YARN的“资源管理器”(Resource Manager,RM)负责整个集群的资源管理功能,每个任务都单独有一个“应用服务器”(ApplicationMaster,AM)来负责完成任务所需资源的申请管理与任务生命周期管理功能。这样的功能分离有若干好处:极大地增强系统可扩展性,YARN的设计目标为支持10 000以上节点集群规模;系统可用性增强,不会再有JobTracker故障导致整个集群不可用的情况;大大增加了集群资源利用率,可以部署除MR任务之外的其他计算框架,同时共享底层硬件资源。