返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 1780.d.1.b

缓存声明不等于立刻装载

理解等级:中级

RDD的cache或persist表达复用意图,首次Action计算分区时才填充缓存。存储级别决定内存不足如何处理:以官方RDD文档的MEMORY_ONLY为例,放不下的分区以后重算;MEMORY_AND_DISK才会把放不下的分区存盘。书中“显式加载并常驻”须按这种惰性与级别边界理解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      图15-13 RDD支持的运算 用户可指定哪些RDD被缓存到内存中。用户可在应用程序中通过RDD.Cache()命令将某些RDD显式地加载并常驻到内存中,这样可以加快后续的处理流程速度,当内存足够多时,一般会将缓存放在内存中,当内存不足时,也可能会将缓存内容存储在磁盘。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对缓存声明不等于立刻装载给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:图15-13 RDD支持的运算 用户可指定哪些RDD被缓存到内存中。用户可在应用程序中通过RDD.Cache()命令将某些RDD显式地加载并常驻到内存中,这样可以加快后续的处理流程速度,当内存足够多时,一般会将缓存放在内存中,当内存不足时,也可能会将缓存内容存储在磁盘。 - 边界核对:[Spark官方RDD持久化说明](https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence),本轮读取;原书机制与现行存储级别区分。