知识卡片

普通读书笔记卡 · 1771.b.1

共享状态冲突需重试

理解等级:高级

Omega类共享状态调度在本地状态副本上计划,通过事务检查提交时的资源冲突;失败计划重新计算或重试,并不必然重跑已经执行的业务任务。提交检查维护资源分配正确性,乐观并发节省的是中央串行规划。冲突率、优先级和仲裁规则决定效率与公平,不能认定没有中央强调度就绝不可能公平。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      Omega是Google开发的内部集群资源管理与调度系统,在本论文中,它提出了一种新型的资源调度方案:状态共享调度器。在这种调度范型中,每个计算框架可以看到整个集群中的所有资源,并采用相互竞争的方式去获取自己所需的资源,根据自身的特性采取不同的具体的资源调度策略,同时系统采用了乐观并发控制手段解决不同框架在资源竞争过程中出现的需求冲突。除此之外,本论文还对目前的资源调度系统做了整体分类,并对每类的特点做了分析,这对宏观掌握资源调度系统设计策略有很大的帮助。

    • 集群资源管理与调度 · 查看原书依据

      状态共享调度器是Google的Omega调度系统提出的一种资源管理与调度范型。在这种调度范型中,每个计算框架可以看到整个集群中的所有资源,并采用相互竞争的方式去获取自己所需的资源,根据自身特性采取不同的具体资源调度策略,同时系统采用了乐观并发控制手段解决不同框架在资源竞争过程中出现的需求冲突。这样,状态共享调度器在以下两方面对两级调度器做出了改进, 一方面乐观并发控制增加了系统的并发性能,另外一方面每个计算框架可以获得全局的资源使用状况信息。当然,这种自由竞争资源的方式也有其相应的代价:如果系统中存在大量资源竞争冲突(即多个框架申请相同的资源),这种乐观并发控制在做出仲裁后,竞争失败者很可能需要重新执行任务,而这会造成大量的资源浪费。

    参考来源

    - 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html) - 结论依据:原文以“竞争失败者很可能需要重新执行任务”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。 - 原始内容:状态共享调度器是Google的Omega调度系统提出的一种资源管理与调度范型。在这种调度范型中,每个计算框架可以看到整个集群中的所有资源,并采用相互竞争的方式去获取自己所需的资源,根据自身特性采取不同的具体资源调度策略,同时系统采用了乐观并发控制手段解决不同框架在资源竞争过程中出现的需求冲突。这样,状态共享调度器在以下两方面对两级调度器做出了改进, 一方面乐观并发控制增加了系统的并发性能,另外一方面每个计算框架可以获得全局的资源使用状况信息。当然,这种自由竞争资源的方式也有其相应的代价:如果系统中存在大量资源竞争冲突(即多个框架申请相同的资源),这种乐观并发控制在做出仲裁后,竞争失败者很可能需要重新执行任务,而这会造成大量的资源浪费。