知识卡片
YARN内存与CPU资源隔离方案的不同选择
YARN对内存和CPU两种资源采用了不同的隔离手段,原因在于两种资源的”越界后果”完全不同。内存是限制性资源——用超了直接决定应用死活(OOM),所以YARN默认走的是线程监控方案:每个NodeManager额外起一个监控线程盯着每个Container的内存用量,一旦超过约定值就直接杀掉;书中特别解释了为什么不直接用更严格的Cgroups作为默认方案——Java创建子进程用的是fork()+exec(),子进程刚启动那一瞬间内存占用会和父进程一致(看起来像瞬间翻倍,随后又降下来),如果直接用Cgroups的硬性内存上限去卡这个瞬间峰值,容易误杀正常进程或触发不必要的swap操作,所以选用更宽容的线程监控作为默认方案,Cgroups则作为可选的更严格方案保留。CPU是弹性资源——用超了并不会让应用直接挂掉,只是变慢,书中给出配置LinuxContainerExecutor并使用Cgroups的CPU隔离路径;默认NodeManager未启用CPU资源隔离。YARN同时引入”虚拟CPU”这个抽象(一个物理CPU可以映射成多个虚拟CPU单位),好处有两个:一是可以做比”一整个CPU核心”更细粒度的资源切分(比如按书中的映射示例表示任务在最差情况下可获得半个物理CPU的份额);二是能部分缓解CPU异构问题(性能不同的物理CPU可以配置不同数量的虚拟CPU来体现算力差异)。可迁移启发:设计资源隔离策略时,不能对所有资源类型套用同一种隔离机制,而要先问”这种资源用超了,后果是硬性失败还是软性降级”——硬性失败的资源(如内存)需要更谨慎地处理瞬时峰值和监控灵敏度之间的平衡,弹性资源(如CPU)可以按需要配置更细粒度的隔离,但须核对执行器和实际配置是否启用。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。