知识卡片
Capacity Scheduler与Fair Scheduler的设计取舍
两者都是为了取代MRv1那种单队列FIFO调度器而生的多租户调度器(单队列FIFO在多用户、多种QoS需求场景下既不能满足不同作业的响应时间要求,也不能按硬件资源类型区分调度批处理/交互式/生产性作业),且都基于[[层级队列的弹性共享与资源抢占:一体两面的设计]]描述的最少/最大容量模型,但两者最初的出发点不同:Capacity Scheduler(Yahoo!)以”容量保证”为核心,用百分比方式配置每个队列的资源占比,强调多重租赁隔离(防止单用户/单应用独占资源)和ACL访问控制;Fair Scheduler(Facebook)以”资源公平共享”为核心,队列内部可选FIFO、Fair(基于最大最小公平算法,N个应用同时运行则每个应用平均分到1/N资源)或DRF三种策略,用实际资源数量而非百分比配置,且允许应用在运行中动态从一个队列转移到另一个队列。Fair Scheduler因为支持多种调度策略、且天然把”公平”作为默认目标,能让小作业更快获得资源、更快跑完,这是它最初被很多公司选用的原因。但书中特别指出:随着两者版本演进(Capacity Scheduler后来也引入了资源公平分配算法),两者的功能集越来越趋同,到后期已经可以认为Fair Scheduler具备了Capacity Scheduler几乎所有的能力,两者的差异性正在消失。可迁移启发:评估两个曾经有明显设计分野的竞品工具时,不能只看它们最初的定位差异,还要检查各自后续版本是否已经互相”抄”到功能趋同——如果差异已经消失,选型时更应该看运维熟悉度、生态集成度这类非核心功能因素,而不是纠结于历史上的设计哲学差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.4.3 Capacity/Fair Scheduler"(源文件:_epub-src/OEBPS/text00070.html)
- 结论依据:原文说明"Capacity Scheduler……容量保证:管理员可为每个队列设置资源最低保证和资源使用上限……Fair Scheduler……资源公平共享:……Fair策略是一种基于最大最小公平算法实现的资源多路复用方式……随着Hadoop版本的演化,Fair Scheduler和Capacity Scheduler的功能越来越完善……也正因为如此,两个调度器同质化越来越严重……可以认为Fair Scheduler具备了Capacity Scheduler具有的所有功能", 直接支撑本卡关于两者定位差异与后期趋同的结论。
- 原始内容:Fair Scheduler最初是为了引入公平调度策略而提出的,它扩展了面向单类型资源的max-min公平分配算法,让其支持多资源类型,这是很多公司选择Fair Scheduler的原因,但随着Capacity Scheduler也引入这一资源分配算法,两者差异性已并不明显。