知识卡片
资源管理系统架构三代演化:集中式→双层→共享状态
Google Omega论文把资源管理系统的架构演化归纳成三代,这条脉络能把YARN(参见[[MRv1的四大局限与”资源管理/作业控制”解耦]])和[[Mesos的双层调度与三个”信任但验证”机制]]放进一个更大的坐标系里理解。第一代是集中式架构(如MRv1的JobTracker):资源调度和应用管理全挤在一个进程里,扩展性差,新调度策略很难融入既有代码;论文提到一种改良——把每种调度策略拆到独立模块里分别处理不同类型的作业,能在小规模场景下缩短响应时间,但因为所有策略仍挤在同一个集中式组件内,整体扩展性并未真正改善。第二代是双层调度架构(Mesos、YARN属于此代):保留一个被大幅简化的集中式资源调度器,把具体任务的调度策略下放到各个应用自己的调度器,这解决了集中式架构”策略难扩展”的问题,但引入了两个新缺陷——各框架无法看到集群全局的实时资源使用情况(有些场景下这会让”任务失败后该不该换节点重试”这类决策缺乏依据);且资源分配本质上是”悲观锁”模式(任意时刻中心调度器只把资源推给一个框架,等它返回使用情况才能推给下一个),并发粒度很小。第三代是Google自己的共享状态架构Omega:干脆取消集中式调度模块,改成一份所有框架都能看到的共享状态数据(整个集群的实时资源使用信息)加一套针对该数据的验证代码,用类似数据库”乐观锁”的多版本并发控制方式处理并发写入冲突(同时申请同一资源时按优先级决出胜者),把”资源分组限制”“用户资源上限”这类原本由集中模块统一管理的约束,也下放给各个应用调度器自己管理。可迁移启发:从”一个进程包办一切”到”拆两层但仍有中心悲观锁瓶颈”再到”共享状态+乐观并发控制”,这条演化路径本身是一个通用的架构成熟度阶梯——当双层架构里的中心协调点因为悲观锁而限制了并发度时,向”共享状态+乐观锁”演进是下一个自然的优化方向。
结构图:
flowchart LR
A["第一代:集中式架构<br/>(如MRv1 JobTracker)<br/>调度+应用管理挤一个进程,扩展性差"]
A --> B["第二代:双层调度架构<br/>(Mesos/YARN)<br/>简化中心调度器+框架自调度<br/>缺陷:无全局视图+悲观锁并发小"]
B --> C["第三代:共享状态架构<br/>(Google Omega)<br/>取消集中模块,改为共享状态数据+乐观锁(多版本并发控制)<br/>约束下放给各应用调度器"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。