知识卡片
RDD持久化三种机制的对比:cache/persist与checkpoint
因为[[transformation与action的惰性执行分工]]的存在,如果同一个RDD被多个后续action重复用到,默认情况下每次action都要从头沿着血统链重新计算这个RDD一遍——这在迭代式或交互式计算里是明显的浪费。RDD持久化就是让用户显式把一个RDD的计算结果缓存起来供复用:cache把RDD放进内存(等价于persist(MEMORY_ONLY));persist则支持多种存储级别(内存/磁盘/序列化与否等)供用户按数据大小和访问频率选择。这两者都由Spark自动管理生命周期——包括何时创建、何时因内存压力被回收,用户不用操心。checkpoint是第三种持久化机制,作用类似”数据库快照”:把RDD实际写入HDFS等外部文件系统,但和cache/persist有两个关键区别:一是持久化的数据需要用户自己管理(不像cache/persist那样由Spark自动创建回收);二是checkpoint会清除该RDD的血统信息,而cache/persist不会——这个区别背后的动机是,如果一条计算链条经过了非常多层transformation,血统链会越拉越长,一旦某个环节需要重新计算,回溯链条本身的序列化和重建开销也会跟着变大;checkpoint相当于在链条中间打一个”断点”,把这一段历史直接固化成真实数据、斩断过长的血统,用一次额外的写入成本换取后续更短的血统链和更低的重算风险。可迁移启发:当一条数据处理链路的中间态需要复用时,”缓存在内存/磁盘、由系统自动管理生命周期”和”显式落盘、斩断依赖历史”是两种不同定位的持久化手段——前者优化的是重复访问的性能,后者优化的是过长依赖链带来的重算/序列化风险,该选哪种取决于问题出在”访问频率”还是”依赖链长度”。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。