知识卡片
血缘恢复计算
RDD记录自己是从哪些父RDD经过什么转换得来,这条依赖链就是血缘。分区丢失时,不必事先复制中间数据,而是沿血缘重算。重算代价取决于依赖类型:窄依赖只需重算父RDD对应的那个分区;Shuffle依赖则要恢复所有相关父分区,代价大得多。血缘恢复的前提是上游输入仍可重读,链太长时要用检查点截断,见[[检查点截血缘]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00138.html)
- 结论依据:原文说明RDD间依赖分为窄依赖与Shuffle依赖,从容灾角度恢复方式不同:窄依赖只需重新执行父RDD丢失分区的计算,Shuffle依赖需考虑恢复所有父RDD的丢失分区。
- 原始内容:从容灾角度讲,它们恢复计算结果的方式不同。NarrowDependency只需要重新执行父RDD的丢失分区的计算即可恢复,而ShuffleDependency则需要考虑恢复所有父RDD的丢失分区。