知识卡片
资源队列连接任务队列
调度概念分为资源组织、策略和任务组织:资源可分组或池化,任务按用户与队列管理,策略决定如何匹配。通用架构由节点管理器报告水位,资源收集器更新资源池,调度器为工作队列分配容器,再由节点执行与隔离。分配成功不自动说明节点状态仍新鲜或任务已完成。
结构图:
flowchart LR
N[节点管理器] --> R[资源收集器与资源池]
Q[用户作业队列] --> S[调度策略]
R --> S
S --> C[节点容器执行与隔离]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 集群资源管理与调度 · 查看原书依据
图4-1展示了一个抽象的资源管理与调度系统的概念模型。从概念上讲,资源管理与调度系统的主要目的是将集群中的各种资源通过一定策略分配给用户提交到系统里的各种任务,常见的资源主要包括内存、CUP、网络资源与磁盘I/O资源4类。而这个概念模型主要强调三要素:资源组织 模型、调度策略和任务组织模型。不同的资源管理与调度系统基本遵循上述概念模型,但是具体在三要素的实现方式上有差异。
参考来源
- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html)
- 结论依据:原文以“这个概念模型主要强调三要素”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:图4-1展示了一个抽象的资源管理与调度系统的概念模型。从概念上讲,资源管理与调度系统的主要目的是将集群中的各种资源通过一定策略分配给用户提交到系统里的各种任务,常见的资源主要包括内存、CUP、网络资源与磁盘I/O资源4类。而这个概念模型主要强调三要素:资源组织 模型、调度策略和任务组织模型。不同的资源管理与调度系统基本遵循上述概念模型,但是具体在三要素的实现方式上有差异。