知识卡片
检查点截血缘
检查点把RDD的数据持久化,之后需要时直接读取,不必沿长血缘重算,也截断了依赖链。实现分本地和可靠两种,可靠检查点把数据写到应用指定的检查点目录(通常是HDFS等容错存储)。它与缓存目的不同:缓存为重复读取提速、可被驱逐,检查点为恢复兜底、代价是额外写入。选择看重算成本、复用次数和可靠性要求。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00293.html、_epub-src/EPUB/text00295.html、_epub-src/EPUB/text00296.html)
- 结论依据:原文说明检查点把运行期内存数据结构与状态持久化到磁盘以便重新构造,Spark用它保留RDD执行状态;RDDCheckpointData有LocalRDDCheckpointData和ReliableRDDCheckpointData两种,后者把数据保存到SparkContext指定检查点目录下的子目录。与缓存的对比为审查补充。
- 原始内容:检查点是很多分布式系统为了容灾容错引入的机制,其实质是将系统运行期的内存数据结构和状态持久化到磁盘上,在需要时通过对这些持久化数据的读取,重新构造出之前的运行期状态。……RDDCheckpointData的子类有LocalRDDCheckpointData和ReliableRDDCheckpointData两种……checkpointPath方法用于在SparkContext的checkpointDir属性指定的RDD计算过程中保存检查点的目录下创建子目录