知识卡片

静态切分浪费

普通读书笔记卡 · 1771

内容

把集群静态分给不同计算框架实现简单,却会让某些框架排队时另一些资源闲置。统一资源管理的价值在于把硬件池化,使批处理、流式、交互式任务能按需竞争共享资源。

参考来源

- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》引言部分(源文件:_epub-src/OEBPS/text00009.html) - 结论依据:原文明确"静态资源划分方法……将划分后的固定的硬件资源指定给固定的计算框架使用,各个框架之间各行其是……资源的整体利用率不高,经常会出现集群中有些计算系统资源不足,但是有些计算系统存在大量闲置资源的情形",而统一资源管理"所有资源对所有任务可用,所以只需存储一份即可,极大地增强了集群的数据共享能力"。 - 原始内容:静态资源划分方法是一种非常简便易行的资源管理方式,但是很明显资源的整体利用率不高,经常会出现集群中有些计算系统资源不足,但是有些计算系统存在大量闲置资源的情形……如果是静态划分资源,对于有些共享的数据资源,需要分别在分配给不同计算任务的子集群中重复存储,而采用统一资源管理与调度系统,则所有资源对所有任务可用。