知识卡片

结构图卡 · 2774.c.1

MRv1的四大局限与"资源管理/作业控制"解耦

理解等级:未标注

YARN的诞生动机可以完整归结为MRv1这一代架构暴露出的四个结构性问题,这四个问题涉及不同层面:JobTracker职责耦合制约扩展与多框架接入,单点部署影响可靠性,固定Map/Reduce槽位造成资源闲置。可靠性差:JobTracker既是master又是单点,一挂全集群不可用;扩展性差:JobTracker同时兼备”资源管理”和”作业控制(监控/容错等)”两个功能,两种截然不同的职责挤在同一个进程里,成为整个系统扩展性的天花板;资源利用率低:MRv1用槽位(slot)这种粗粒度、且预先划分死”Map槽/Reduce槽不可互相借用”的资源模型,导致作业刚提交时只跑Map、Reduce槽位闲置这类结构性浪费;无法支持多计算框架:因为资源管理逻辑是和MapReduce这一种计算模型深度绑定写在一起的,流式计算、内存计算等新框架根本无法接入。YARN的解法是一次典型的”职责分离”式重构:把JobTracker一分为二,拆成与具体应用无关的资源管理进程(管CPU/内存/磁盘等全局资源分配)和与单个作业绑定的作业控制进程(每个作业一个,只管自己的监控和容错)。这个拆分带来一个更深远的架构后果——原本”以MapReduce为核心,资源管理系统是MapReduce之下可插拔的一个组件”的软件栈,反过来变成了”以YARN为核心,所有计算框架都必须实现YARN定义的接口才能运行在其上”,Hadoop 2.0因此从一个计算框架变成了一整个可承载多种计算框架的生态系统底座。可迁移启发:当一个组件的扩展性瓶颈可以归因为”它同时承担了通用型职责和特定型职责”时,把两者拆成独立进程/服务往往是解开瓶颈最根本的一招,而不是在同一个进程里持续打补丁。

结构图:

flowchart TB
  A["MRv1的JobTracker(单进程身兼二职)"]
  A --> B["资源管理(TaskScheduler)"]
  A --> C["作业控制(监控/容错等)"]
  A -.->|"四大局限"| L["可靠性差(单点)/扩展性差(职责耦合)/<br/>资源利用率低(槽位粗粒度)/无法支持多框架"]
  L --> S["YARN的解法:拆成两个独立进程"]
  S --> RM["资源管理进程(通用,与应用无关)<br/>→ResourceManager"]
  S --> AM["作业控制进程(每作业一个)<br/>→ApplicationMaster"]
  S -.->|"软件栈反转"| T["以MapReduce为核心(资源管理可插拔)<br/>→以YARN为核心(所有框架需实现YARN接口)"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.1 YARN产生背景"与"9.2 YARN设计思想"(源文件:_epub-src/OEBPS/text00067.html、text00068.html) - 结论依据:原文说明"MRv1采用了master/slave结构,其中,master存在单点故障问题……JobTracker(master)同时兼备了资源管理和作业控制两个功能,这成为系统的一个最大瓶颈……MRv1采用了基于槽位的资源分配模型……不允许它们之间共享……MRv1不能支持多种计算框架并存……下一代MapReduce框架的基本设计思想是将JobTracker的两个主要功能,即资源管理和作业控制……分拆成两独立的进程", 直接支撑本卡关于四大局限与解耦设计的结构图。 - 原始内容:正是由于MRv2将资源管理功能抽象成了一个独立的通用系统YARN,直接导致下一代MapReduce的核心从单一的计算框架MapReduce转移为通用的资源管理系统YARN。