知识卡片
资源供应下放安置决策
书中Mesos中央分配器决定给哪个框架多少资源,框架调度器决定用这些资源运行哪些任务,节点执行器负责执行。框架可拒绝不合适的offer并用过滤器减少重复交互;资源可见性和数据局部性因此与集中规划不同。此为历史Mesos架构,不以原书“不支持抢占”概括所有后续版本。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 集群资源管理与调度 · 查看原书依据
主控服务器使用“资源供应”(Resource Offers)来将集群内的资源分配给各个计算框架,每份“资源供应”代表了一部分集群内可用的资源列表(包括内存、CPU等)。主控服务器通过“资源供应”决定为每个框架提供多少资源,每个框架自身的二级调度器做更细致的任务间资源分配。为了增加灵活性,Mesos中央调度器的调度策略模块(Allocation Module)设置成可插拔的,系统管理者可以按需设置中央调度策略,同时Mesos提供了公平调度策略(DRF策略)和优先级调度策略两种不同类型的调度方式。
参考来源
- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html)
- 结论依据:原文以“每份“资源供应”代表了一部分集群内可用的资源列表”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:主控服务器使用“资源供应”(Resource Offers)来将集群内的资源分配给各个计算框架,每份“资源供应”代表了一部分集群内可用的资源列表(包括内存、CPU等)。主控服务器通过“资源供应”决定为每个框架提供多少资源,每个框架自身的二级调度器做更细致的任务间资源分配。为了增加灵活性,Mesos中央调度器的调度策略模块(Allocation Module)设置成可插拔的,系统管理者可以按需设置中央调度策略,同时Mesos提供了公平调度策略(DRF策略)和优先级调度策略两种不同类型的调度方式。