知识卡片

普通读书笔记卡 · 1771.b.2

资源供应下放安置决策

理解等级:中级

书中Mesos中央分配器决定给哪个框架多少资源,框架调度器决定用这些资源运行哪些任务,节点执行器负责执行。框架可拒绝不合适的offer并用过滤器减少重复交互;资源可见性和数据局部性因此与集中规划不同。此为历史Mesos架构,不以原书“不支持抢占”概括所有后续版本。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 集群资源管理与调度 · 查看原书依据

      主控服务器使用“资源供应”(Resource Offers)来将集群内的资源分配给各个计算框架,每份“资源供应”代表了一部分集群内可用的资源列表(包括内存、CPU等)。主控服务器通过“资源供应”决定为每个框架提供多少资源,每个框架自身的二级调度器做更细致的任务间资源分配。为了增加灵活性,Mesos中央调度器的调度策略模块(Allocation Module)设置成可插拔的,系统管理者可以按需设置中央调度策略,同时Mesos提供了公平调度策略(DRF策略)和优先级调度策略两种不同类型的调度方式。

    参考来源

    - 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html) - 结论依据:原文以“每份“资源供应”代表了一部分集群内可用的资源列表”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。 - 原始内容:主控服务器使用“资源供应”(Resource Offers)来将集群内的资源分配给各个计算框架,每份“资源供应”代表了一部分集群内可用的资源列表(包括内存、CPU等)。主控服务器通过“资源供应”决定为每个框架提供多少资源,每个框架自身的二级调度器做更细致的任务间资源分配。为了增加灵活性,Mesos中央调度器的调度策略模块(Allocation Module)设置成可插拔的,系统管理者可以按需设置中央调度策略,同时Mesos提供了公平调度策略(DRF策略)和优先级调度策略两种不同类型的调度方式。