知识卡片
基于标签的调度:用逻辑标签划分异构集群
当一个集群的硬件本身不是均质的(比如原有20个32GB内存节点,后来为了跑Spark又新买了10个64GB大内存节点),如果不加区分地把所有作业混合调度到任意节点,内存密集型的Spark任务可能被分配到旧的小内存节点上跑不动,而普通MapReduce作业也可能占用宝贵的大内存节点资源。基于标签的调度提供了一个轻量的解法:给每个NodeManager打上标签(如normal、highmem)作为节点的基本属性,再给调度器里的队列设置它能访问的标签集合(如hadoop队列可访问normal和highmem两种标签、spark队列只能访问highmem),这样提交到某个队列的作业就被限定只能运行在符合标签要求的节点子集上。这个机制的本质是用一层逻辑标签,在同一个物理YARN集群内部动态划分出多个”逻辑子集群”,而不需要真的把集群拆成物理上独立的几个集群(那样会重新引入[[MRv1的四大局限与”资源管理/作业控制”解耦]]中”资源利用率低”的老问题——拆开的子集群之间无法共享资源)。可迁移启发:当资源池内部存在异构硬件、且不同类型的负载对硬件特征有不同偏好时,优先考虑”给资源打标签+让消费方按标签筛选”这种轻量级的逻辑分区方案,而不是直接把资源池物理拆分成多个独立池子——前者仍由同一调度系统管理;跨标签能否共享资源取决于队列可访问标签和容量配置,不能仅凭同属一个集群就推定可互借。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.4.4 基于节点标签的调度"(源文件:_epub-src/OEBPS/text00070.html)
- 结论依据:原文说明"用户可为每个NodeManager打上标签,比如highmem,highdisk等,以作为NodeManager的基本属性;同时,用户可以为调度器中的队列设置若干标签,以限制该队列只能占用包含对应标签的节点资源……通过打标签,用户可将Hadoop分成若干个子集群,进而使得用户可将应用程序运行到符合某种特征的节点上", 直接支撑本卡关于标签调度机制的结论。
- 原始内容:公司A规定:Spark程序只运行在后来的10个大内存节点上,而之前的MapReduce程序既可以运行在之前的20个节点上,也可以运行在后来的10个大内存节点上。