知识卡片

普通读书笔记卡 · 2580.a.1

RDD持久化三种机制的对比:cache/persist与checkpoint

理解等级:未标注

因为[[transformation与action的惰性执行分工]]的存在,如果同一个RDD被多个后续action重复用到,默认情况下每次action都要从头沿着血统链重新计算这个RDD一遍——这在迭代式或交互式计算里是明显的浪费。RDD持久化就是让用户显式把一个RDD的计算结果缓存起来供复用:cache把RDD放进内存(等价于persist(MEMORY_ONLY));persist则支持多种存储级别(内存/磁盘/序列化与否等)供用户按数据大小和访问频率选择。这两者都由Spark自动管理生命周期——包括何时创建、何时因内存压力被回收,用户不用操心。checkpoint是第三种持久化机制,作用类似”数据库快照”:把RDD实际写入HDFS等外部文件系统,但和cache/persist有两个关键区别:一是持久化的数据需要用户自己管理(不像cache/persist那样由Spark自动创建回收);二是checkpoint会清除该RDD的血统信息,而cache/persist不会——这个区别背后的动机是,如果一条计算链条经过了非常多层transformation,血统链会越拉越长,一旦某个环节需要重新计算,回溯链条本身的序列化和重建开销也会跟着变大;checkpoint相当于在链条中间打一个”断点”,把这一段历史直接固化成真实数据、斩断过长的血统,用一次额外的写入成本换取后续更短的血统链和更低的重算风险。可迁移启发:当一条数据处理链路的中间态需要复用时,”缓存在内存/磁盘、由系统自动管理生命周期”和”显式落盘、斩断依赖历史”是两种不同定位的持久化手段——前者优化的是重复访问的性能,后者优化的是过长依赖链带来的重算/序列化风险,该选哪种取决于问题出在”访问频率”还是”依赖链长度”。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.2.3 Spark编程接口"(源文件:_epub-src/OEBPS/text00088.html) - 结论依据:原文说明"Spark提供了persist和cache两个持久化函数,其中cache将RDD持久化到内存中,而persist则支持多种存储级别……Spark还提供了另外一种持久化机制:checkpoint,它能将RDD写入文件系统……相比于cache和persist,区别在于:Spark自动管理(包括创建和回收)cache和persist持久化的数据,而checkpoint持久化的数据需由用户自己管理;checkpoint会清除RDD的血统,避免血统过长导致序列化开销增大,而cache和persist不会清除RDD的血统", 直接支撑本卡关于三种持久化机制对比的结论。 - 原始内容:如图11-5中a)所示,上面代码在执行第一个action算子(即count)时,会将data持久化到内存中,之后三个action算子计算时直接从内存中读取数据(而无需从HDFS读取),相比于图11-5中b)所示的无内存持久化方案,这大大减少了磁盘IO。