知识卡片

结构图卡 · 2579.f

Mesos的双层调度与三个"信任但验证"机制

理解等级:未标注

Mesos和YARN架构高度相似(都有Master/Slave、都靠ZooKeeper做Master HA、都用Cgroups做隔离),但设计哲学有一处关键分歧:如何应对”框架需求千差万别、中央调度器不可能理解所有框架的调度逻辑”这个难题。理想化的方案是造一个表达能力极强的中央调度器,接收各框架详细的资源/顺序/依赖描述后统一编排——但作者指出这条路在真实系统里走不通,因为不同框架的调度需求太复杂多样,不可能设计出一套API去捕获所有框架的诉求。Mesos的解法是”授权而非包办”:Mesos自己只用简单策略(FIFO/Fair等)把资源粗放地推送给各个框架,框架内部自己的Framework Scheduler再把拿到的资源进一步细分给具体任务——这就是双层调度架构(YARN的RM+AM本质上也是同一思路的另一种实现)。因为中央调度器完全不了解各框架的真实需求,Mesos补了三个纠偏机制:资源拒绝(框架发现分给自己的资源不满足要求,可以直接拒绝,等下一次合适的再接受)、资源过滤(框架可预先声明”只要满足某条件的资源才通知我”,避免每次都要来回沟通不合适的资源、造成额外通信开销)、资源回收(框架拿到资源却迟迟不用,Mesos会收回转给别人)。可迁移启发:当一个中心化协调者无法充分理解所有下游消费方的真实偏好时,与其死磕”造一个足够聪明、能表达所有偏好的中心决策接口”,不如把决策权下放给下游、只由中心提供简单粗放的初步分配+一套”下游可以拒绝/预筛选/被回收”的纠偏反馈通道,这比试图一次性把所有偏好都编码进中心决策逻辑更现实。

结构图:

flowchart TB
  A["Mesos双层调度"]
  A --> M["Mesos Master(第一层:粗放分配,FIFO/Fair等简单策略)"]
  M -->|"推送资源"| F["Framework Scheduler(第二层:框架内部精细调度)"]
  F -->|"资源拒绝:不满足要求可拒收"| M
  F -->|"资源过滤:预声明只接受满足条件的资源,减少通信"| M
  M -->|"资源回收:框架长期不用则收回"| F
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.7 资源管理系统Mesos"(源文件:_epub-src/OEBPS/text00073.html) - 结论依据:原文说明"由于每种计算框架具有不同的调度需求,且有些框架的调度需求非常复杂,因此,提供一个具有丰富表达能力的API以捕获所有框架的需求是不太可能的……Mesos提供了一种简化的方案:将资源调度的控制授权给各个框架……为保证框架能高效地获取到自己需要的资源,它提供了三个机制:资源拒绝……资源过滤……资源回收", 直接支撑本卡关于双层调度与三机制的结构图。 - 原始内容:如果Mesos为某个框架分配的资源不符合它的要求,则框架可以拒绝接受该资源直到出现满足自己需求的资源。该机制使得框架在复杂的资源约束条件下,还能够保证Mesos设计简单和具有良好的扩展性。