知识卡片
两级调度让权
两级调度把资源管理和任务调度分成两层,以缓解中央式调度器的瓶颈。一级调度器负责资源与任务的匹配,面向 Spark、MapReduce、Storm 等不同计算框架扩展出多个二级框架调度器,既与调度策略解耦,又能应对高并发任务。但它仍存在全局优化和并发调度受限的问题。发散:分层会提高灵活性,也带来协调成本。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式架构原理与实践》第7章《分布式资源管理和调度》(源文件:_epub-src/OEBPS/Text/part0000.xhtml)
- 结论依据:原文说明两级调度把资源管理和任务调度分为两层,一级调度器执行调度策略,面向 Spark、MapReduce、Storm 等框架扩展出二级框架调度器,以解耦并应对高并发任务。
- 原始内容:为了解决这个问题,需要将资源管理和任务调度分开,也就是说一层调度器负责资源管理,一层调度器负责任务与资源的匹配。……针对两层调度系统存在的全局优化和并发调度受限问题,推出了共享状态调度器(Shared- State Scheduler)。