知识卡片

三类调度范型

普通读书笔记卡 · 1771.b

内容

集中式调度器所有决策集中在一个中央实例,逻辑简单但缺乏并发性、大规模集群下容易成为性能瓶颈;两级调度器把细粒度分配下放给框架,用悲观并发换取更好的扩展性;状态共享调度器让每个框架看到全局资源并乐观并发竞争,牺牲部分一致性换更高并发度。

参考来源

- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》"4.3 资源管理与调度系统的宏观架构"(集中式/两级/状态共享调度器)一节(源文件:_epub-src/OEBPS/text00009.html) - 结论依据:原文明确"3种资源管理与调度系统范型:集中式调度器、两级调度器与状态共享调度器",集中式调度器"所有之上的框架或者计算任务的资源请求全部经由中央调度器来满足……缺乏并发性";两级调度器"只有中央调度器能够观察到所有集群资源的状态……采用悲观并发控制";状态共享调度器"每个计算框架可以看到整个集群中的所有资源,并采用相互竞争的方式去获取自己所需的资源……采用了乐观并发控制手段"。 - 原始内容:目前有多种实现资源管理与调度功能的实际系统,如果根据其宏观运行机制的不同进行分类,可以归纳出3种资源管理与调度系统范型:集中式调度器、两级调度器与状态共享调度器……集中式调度器在整个系统中只运行一个全局的中央调度器实例……两级调度器将整个系统的调度工作划分为两个级别……状态共享调度器……每个计算框架可以看到整个集群中的所有资源,并采用相互竞争的方式去获取自己所需的资源……系统采用了乐观并发控制手段解决不同框架在资源竞争过程中出现的需求冲突。