返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576.d

存储内存池

理解等级:未标注

Spark把内存按用途分为存储池和执行池两类,每类又按位置分堆内和堆外,共四个逻辑池。存储内存池是对存储用物理内存的逻辑抽象,提供申请、释放和收缩,由统一规则管理,而不是让各调用点各自争抢内存。存储用于缓存RDD和广播数据,执行用于Shuffle、聚合和排序,两类需求分别记账。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00115.html、_epub-src/EPUB/text00116.html) - 结论依据:原文说明MemoryPool有存储体系用的StorageMemoryPool和计算引擎用的ExecutionMemoryPool两种实现,StorageMemoryPool是对存储用物理内存的逻辑抽象,其memoryMode区分堆内存与堆外内存的内存池。 - 原始内容:图6-5中的StorageMemoryPool是存储体系用到的内存池,而ExecutionMemoryPool则是计算引擎用到的内存池。……StorageMemoryPool是对用于存储的物理内存的逻辑抽象,通过对存储内存的逻辑管理,提高Spark存储体系对内存的使用效率。……由此可以断定用于存储的内存池包括堆内存的内存池和堆外内存的内存池。