← 返回卡片

原书出处

大数据日知录_架构与算法

04 集群资源管理与调度

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.119Z

YARN是Hadoop 2.0的重要组成部分,也被称作MRV2,其全称是“另一个资源协调器”(Yet Another Resource Negotiator),顾名思义,其是一个独立的资源管理系统。MRV2与MRV1相比,最大的改变就是抽象出YARN这个独立资源调度系统。在MRV1中,所有任务的资源管理以及生命期管理都由全局唯一的JobTracker来负责,造成了JobTracker功能繁复,成为整个Hadoop系统的瓶颈,严重限制了系统的可扩展性,之前报道MRV1系统最大能支持的集群规模为4 000台服务器。另外,JobTracker还存在单点失效问题,当JobTracker故障时,整个Hadoop集群不可用。而MRV2将资源管理和任务生命期管理功能分离,由YARN的“资源管理器”(Resource Manager,RM)负责整个集群的资源管理功能,每个任务都单独有一个“应用服务器”(ApplicationMaster,AM)来负责完成任务所需资源的申请管理与任务生命周期管理功能。这样的功能分离有若干好处:极大地增强系统可扩展性,YARN的设计目标为支持10 000以上节点集群规模;系统可用性增强,不会再有JobTracker故障导致整个集群不可用的情况;大大增加了集群资源利用率,可以部署除MR任务之外的其他计算框架,同时共享底层硬件资源。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d

本卡其他出处