知识卡片
层级队列的弹性共享与资源抢占:一体两面的设计
YARN的层级队列机制给每个队列设定”最少容量”(能使用的父队列资源比例下限)和”最大容量”(资源使用上限),队列还可以嵌套(如Engineering下再分Development/QA),但这套机制真正精妙的地方在于”最少容量”从来不是硬保证——如果一个队列当前用量小于它的最少容量,那部分空闲配额会被临时借给其他正在忙的队列用;只有当这个队列后来真的有新应用提交、需要用到自己的份额时,调度器才会去把之前借出去的资源要回来。这就直接导致了”资源抢占”现象的产生:既然资源可以被临时借用,那么当原本的队列突然需要用回自己的份额时,调度器必须先等正在使用这些资源的其他队列自然释放,如果等待一段时间后对方仍未释放,才会强制抢占回收。这是一个刻意的设计取舍:如果”最少容量”是硬保证(时刻锁死不允许借用),集群整体利用率会因为大量队列长期空闲而降低;如果完全不做抢占(借了就不用还),又会导致某个队列的应用长时间等不到资源、服务质量无法保证。YARN选择”先弹性共享、需要时再抢占(且留出等待窗口给对方自然释放的机会)”,是在”整体资源利用率”和”各队列服务质量保证”之间取的一个折中点,而不是在两个极端里选一个。可迁移启发:任何”配额制”的资源分配设计,都可以借鉴这个思路——先把配额定义成”软下限+可临时借用”,再配一套”必要时才强制回收、且给出合理等待窗口”的抢占机制,比”配额锁死不能挪用”或”完全先到先得不设下限”这两个极端都更能兼顾整体效率和个体保证。
结构图:
flowchart TB
A["队列资源配置:最少容量(软下限)+最大容量(硬上限)"]
A --> B["队列空闲时,配额被临时共享给繁忙队列"]
B --> C["原队列新应用提交,需要要回自己的份额"]
C --> D["先等待对方自然释放(不确定时长)"]
D -->|"等待超时仍未释放"| E["强制抢占回收"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第9章《资源管理与调度系统YARN》之"9.4.1 层级队列管理机制"与"9.4.5 资源抢占模型"(源文件:_epub-src/OEBPS/text00070.html)
- 结论依据:原文说明"最少容量不是'总会保证的最低容量',如果一个队列的最少容量为20,而该队列中所有队列仅使用了5,那么剩下的15可能会分配给其他需要的队列……资源抢占发生的原因则完全是由于'最小资源量'这一概念……为了提高资源利用率,资源调度器……会将负载较轻的队列的资源暂时分配给负载重的队列……为了防止应用程序等待时间过长,调度器等待一段时间后若发现资源并未得到释放,则进行资源抢占", 直接支撑本卡关于弹性共享与抢占一体两面的结构图与结论。
- 原始内容:为了避免资源浪费,资源调度器通常会等待一段时间后才会强制回收资源,而在这段等待时间内,QueueB和QueueC可能已经释放了本该属于QueueA的资源。