返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576.e

统一内存软界

理解等级:未标注

统一内存管理把执行内存和存储内存之间改成“软”边界:一方空闲的内存可以借给另一方用,提高利用率。存储不够时,最多借走执行池当前空闲的部分。软边界不等于双方对称:按官方调优文档,执行需要内存时可以驱逐存储占用的部分,存储却不能反过来抢执行已用的内存,所以缓存可能被挤掉,见[[缓存需要降级]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00118.html) - 结论依据:原文说明从Spark 1.6起默认使用UnifiedMemoryManager,把计算内存和存储内存的边界改为“软”边界,任何一方可向另一方借用空闲内存;存储内存不足时向计算内存池借用,借用量取所需与计算池空闲的较小值。Spark Tuning文档(访问2026-09-27)说明执行内存可驱逐存储、反之不行。 - 原始内容:UnifiedMemoryManager在MemoryManager的内存模型之上,将计算内存和存储内存之间的边界修改为“软”边界,即任何一方可以向另一方借用空闲的内存。……借用的空间取numBytes和计算内存池的空闲空间的最小值。