知识卡片
YARN四大组件的职责边界与Container抽象
YARN由ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)、Container四个角色构成,各自的职责边界划得很清楚,核心思路是让RM内部的Scheduler成为只分配资源的“纯调度器”,而RM的另一个子模块仍负责应用管理。RM内部又分两个子模块:调度器只根据资源需求做分配,不监控、不跟踪应用执行状态、不负责失败任务重启,这些全部下放给AM;应用程序管理器负责应用生命周期管理(提交、协商启动AM、监控AM状态、AM失败时重启它)。每个用户提交的应用都有自己独立的AM,负责向RM申请资源、把资源进一步分给内部任务、和NM通信启停任务、监控任务状态并在失败时重新申请资源重启——不同应用的AM分布在不同节点上,彼此不会互相影响。NM是每个节点上的资源管理者,双向职责:向RM汇报本节点资源使用和Container运行状态,同时接收执行AM发来的任务启停请求。Container是贯穿整个体系的资源分配单位,它把内存/CPU/磁盘/网络等多维资源打包成一个动态生成的”运行环境”,与MRv1里固定粗粒度的slot不同,Container的大小是根据应用实际需求动态生成的,最终交给ContainerExecutor启动——默认实现直接以进程方式启动、不提供任何隔离,LinuxContainerExecutor靠Cgroups做CPU/内存隔离并以提交者身份运行(更安全),DockerContainerExecutor则直接把Container跑在Docker容器里。可迁移启发:把”决定谁能用多少资源”(调度)和”决定应用内部具体怎么用资源、怎么容错”(应用管理)拆给两个不同角色,调度器就能对所有应用类型保持中立,不必为每种新的计算框架单独定制调度逻辑。
结构图:
flowchart TB
RM["ResourceManager(全局资源与应用管理)"]
RM --> SCH["调度器<br/>只做资源分配,不管应用状态/容错"]
RM --> ASM["应用程序管理器<br/>管理应用生命周期,含AM的启动与重启"]
RM -->|"分配Container"| AM["ApplicationMaster(每应用一个)<br/>申请资源/分配给内部任务/监控容错"]
AM -->|"请求启停任务"| NM["NodeManager(每节点一个)<br/>汇报资源使用+执行任务启停"]
NM --> C["Container(动态资源单位:内存/CPU/磁盘/网络)"]
C --> CE["ContainerExecutor<br/>Default(无隔离)/LinuxContainerExecutor(Cgroups隔离)/DockerContainerExecutor"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。