知识卡片

结构图卡 · 2824.b.1

YARN四大组件的职责边界与Container抽象

理解等级:未标注

YARN由ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)、Container四个角色构成,各自的职责边界划得很清楚,核心思路是让RM内部的Scheduler成为只分配资源的“纯调度器”,而RM的另一个子模块仍负责应用管理。RM内部又分两个子模块:调度器只根据资源需求做分配,不监控、不跟踪应用执行状态、不负责失败任务重启,这些全部下放给AM;应用程序管理器负责应用生命周期管理(提交、协商启动AM、监控AM状态、AM失败时重启它)。每个用户提交的应用都有自己独立的AM,负责向RM申请资源、把资源进一步分给内部任务、和NM通信启停任务、监控任务状态并在失败时重新申请资源重启——不同应用的AM分布在不同节点上,彼此不会互相影响。NM是每个节点上的资源管理者,双向职责:向RM汇报本节点资源使用和Container运行状态,同时接收执行AM发来的任务启停请求。Container是贯穿整个体系的资源分配单位,它把内存/CPU/磁盘/网络等多维资源打包成一个动态生成的”运行环境”,与MRv1里固定粗粒度的slot不同,Container的大小是根据应用实际需求动态生成的,最终交给ContainerExecutor启动——默认实现直接以进程方式启动、不提供任何隔离,LinuxContainerExecutor靠Cgroups做CPU/内存隔离并以提交者身份运行(更安全),DockerContainerExecutor则直接把Container跑在Docker容器里。可迁移启发:把”决定谁能用多少资源”(调度)和”决定应用内部具体怎么用资源、怎么容错”(应用管理)拆给两个不同角色,调度器就能对所有应用类型保持中立,不必为每种新的计算框架单独定制调度逻辑。

结构图:

flowchart TB
  RM["ResourceManager(全局资源与应用管理)"]
  RM --> SCH["调度器<br/>只做资源分配,不管应用状态/容错"]
  RM --> ASM["应用程序管理器<br/>管理应用生命周期,含AM的启动与重启"]
  RM -->|"分配Container"| AM["ApplicationMaster(每应用一个)<br/>申请资源/分配给内部任务/监控容错"]
  AM -->|"请求启停任务"| NM["NodeManager(每节点一个)<br/>汇报资源使用+执行任务启停"]
  NM --> C["Container(动态资源单位:内存/CPU/磁盘/网络)"]
  C --> CE["ContainerExecutor<br/>Default(无隔离)/LinuxContainerExecutor(Cgroups隔离)/DockerContainerExecutor"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.3 YARN的基本架构与原理"(源文件:_epub-src/OEBPS/text00069.html) - 结论依据:原文说明"YARN中的调度器是一个'纯调度器',它不再从事任何与具体应用程序相关的工作……这些均交由应用程序相关的ApplicationMaster完成……应用程序管理器负责管理整个系统中的所有应用程序,包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它……Container不同于MRv1中的slot,它是一个动态资源划分单位,是根据应用程序的需求动态生成的", 直接支撑本卡结构图与结论。 - 原始内容:由于不同的ApplicationMaster被分布到不同的节点上,因此它们之间不会相互影响。