知识卡片

结构图卡 · 3127

资源管理系统架构三代演化:集中式→双层→共享状态

理解等级:未标注

Google Omega论文把资源管理系统的架构演化归纳成三代,这条脉络能把YARN(参见[[MRv1的四大局限与”资源管理/作业控制”解耦]])和[[Mesos的双层调度与三个”信任但验证”机制]]放进一个更大的坐标系里理解。第一代是集中式架构(如MRv1的JobTracker):资源调度和应用管理全挤在一个进程里,扩展性差,新调度策略很难融入既有代码;论文提到一种改良——把每种调度策略拆到独立模块里分别处理不同类型的作业,能在小规模场景下缩短响应时间,但因为所有策略仍挤在同一个集中式组件内,整体扩展性并未真正改善。第二代是双层调度架构(Mesos、YARN属于此代):保留一个被大幅简化的集中式资源调度器,把具体任务的调度策略下放到各个应用自己的调度器,这解决了集中式架构”策略难扩展”的问题,但引入了两个新缺陷——各框架无法看到集群全局的实时资源使用情况(有些场景下这会让”任务失败后该不该换节点重试”这类决策缺乏依据);且资源分配本质上是”悲观锁”模式(任意时刻中心调度器只把资源推给一个框架,等它返回使用情况才能推给下一个),并发粒度很小。第三代是Google自己的共享状态架构Omega:干脆取消集中式调度模块,改成一份所有框架都能看到的共享状态数据(整个集群的实时资源使用信息)加一套针对该数据的验证代码,用类似数据库”乐观锁”的多版本并发控制方式处理并发写入冲突(同时申请同一资源时按优先级决出胜者),把”资源分组限制”“用户资源上限”这类原本由集中模块统一管理的约束,也下放给各个应用调度器自己管理。可迁移启发:从”一个进程包办一切”到”拆两层但仍有中心悲观锁瓶颈”再到”共享状态+乐观并发控制”,这条演化路径本身是一个通用的架构成熟度阶梯——当双层架构里的中心协调点因为悲观锁而限制了并发度时,向”共享状态+乐观锁”演进是下一个自然的优化方向。

结构图:

flowchart LR
  A["第一代:集中式架构<br/>(如MRv1 JobTracker)<br/>调度+应用管理挤一个进程,扩展性差"]
  A --> B["第二代:双层调度架构<br/>(Mesos/YARN)<br/>简化中心调度器+框架自调度<br/>缺陷:无全局视图+悲观锁并发小"]
  B --> C["第三代:共享状态架构<br/>(Google Omega)<br/>取消集中模块,改为共享状态数据+乐观锁(多版本并发控制)<br/>约束下放给各应用调度器"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.8 资源管理系统架构演化"(源文件:_epub-src/OEBPS/text00074.html) - 结论依据:原文说明"集中式调度器(Monolithic scheduler)……在YARN/Mesos中……资源调度器中实际上有一个全局锁,这大大限制了系统的并发性……Omega是一种基于共享状态的调度器……采用了传统数据库中基于多版本的并发访问控制方式(也称为'乐观锁'),这大大提升了Omega的并发性……当同时有多个应用程序申请同一份资源时,优先级最高的那个应用程序将获得该资源,其他资源限制全部下放到各个子调度器", 直接支撑本卡三代演化的结构图与结论。 - 原始内容:由于Omega不再有集中式的调度模块,因此,不能像Mesos或者YARN那样,在一个统一模块中完成以下功能:对整个集群中的所有资源分组,限制每类应用程序的资源使用量,限制每个用户的资源使用量等,这些全部由各个应用程序调度器自我管理和控制。