知识卡片
四种作业资源调度算法的递进演化
本节按问题顺序比较四类作业资源调度思路。先来后到可按提交顺序分配,但大作业可能让后续短作业久等;加优先级也会遇到人人都报最高优先级的问题。最短时间或最少资源优先有助于短小作业,却可能让大量短作业提交者持续占用资源。按用户分配固定资源池限制单个用户占用,但忙闲不同会留下闲置资源。容量共享允许把暂时不用的配额借给有需求的用户。这里描述的是策略取舍,不是完整算法规范:原文没有定义运行时间预测、抢占、借用资源的回收和多资源公平性;实际系统仍须明确这些规则,并按生产/训练等作业性质设权重。
结构图:
flowchart LR
A["先来后到+优先级"] -->|"漏洞:大作业霸占+人人都设最高优先级"| B["最短时间/最少资源优先"]
B -->|"问题:大量短作业可能挤占其他用户"| C["按用户公平分配固定资源池"]
C -->|"问题:忙闲不均时闲置资源无法利用"| D["按容量共享<br/>(借出暂时闲置的配额;回收规则待定)"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第7章《分布式作业调度平台的实现》之"7.3 资源调度算法"(源文件:_epub-src/OEBPS/text00076.html)
- 结论依据:原文说明"如果用户都认为自己的作业优先,把自己提交的作业优先级都设置的最高……特别是前面有一个耗用资源特别久的作业……导致排在后面的大量很短时间运行完……的作业很久才被调度……另一种方式,也就是……最短时间或者最少资源耗用优先方式。但是这样也是有问题的,如果一个用户……一次提交了大量作业……就为了优先得到执行……那永远都是这个用户在占用计算平台集群资源……每个用户分配一个资源池,不能多用……有的用户的作业多任务重,分配到的资源少,有的用户作业稀少也占用一样的资源池,反而不公平了……又出现了按容量调度方式……每个用户的资源池里如果有多余的资源容量,要共享出来,拿出来给其他有需要的用户使用", 直接支撑本卡关于四种调度算法递进演化的结构图。
- 原始内容:所以,又出现了按容量调度方式,通俗的说,每个用户的资源池里如果有多余的资源容量,要共享出来,拿出来给其他有需要的用户使用,调度平台去保障这种容量的管理和分配。