知识卡片
Mesos与YARN职责对照
本节用相似角色帮助理解两套资源调度系统:节点报告资源,集群级组件仲裁,应用侧组件决定任务如何运行。Mesos 中 agent(原书称 slave)向 master 报告资源,master 发出 offer,framework scheduler 接受或拒绝后提交任务,由 agent 上的 executor 运行。YARN 中 NodeManager 向 ResourceManager 报告,应用的 ApplicationMaster 请求并协调容器,NodeManager 在分配到的 container 中启动任务。Master 与 ResourceManager、agent 与 NodeManager 可以作职责类比;framework scheduler 与 ApplicationMaster 也有应用侧协调的相似性。但 Mesos executor 是执行进程,YARN container 是资源分配/运行单元,并非同一层组件。两者的 offer 与 request 流程也不同,不能称为完全同构的同一种“两阶段模型”。原书对稳定性和资源隔离范围的描述是当时版本快照,不沿用为现状判断。
结构图:
flowchart TB
M1["Mesos agent 报告资源"] --> M2["master 发 offer"]
M2 --> M3["framework scheduler 接受/拒绝并提交任务"]
M3 --> M4["agent 上的 executor 运行任务"]
Y1["YARN NodeManager 报告资源"] --> Y2["ResourceManager 维护资源视图"]
Y3["ApplicationMaster 请求资源并协调任务"] --> Y2
Y2 --> Y4["分配 container;NodeManager 启动任务"]
M2 -.->|"集群资源仲裁相似"| Y2
M3 -.->|"应用侧协调相似"| Y3
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第7章“7.4.2 Mesos和Yarn简介”(`_epub-src/OEBPS/text00079.html`),图 7-2~7-5。
- 结论依据:原书给出职责类比;[Apache Mesos 架构](https://mesos.apache.org/documentation/architecture/)与[Apache Hadoop YARN 架构](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN)分别说明 executor 与 container 的职责层级,以及 offer/request 流程。
- 原始内容:当然,它们是不同的产品,很多功能并不等同,只是相似而已。不过我们因此更容易理解一个资源调度框架的主要结构和职责。