知识卡片
RDD依赖决定恢复代价
Spark 的 RDD 是只读的分区记录集合。子分区最多依赖一个父分区的叫窄依赖(如 map),可在同节点流水线执行,失败时只需重算丢失的父分区;多个子分区依赖同一父分区的叫宽依赖(如 join),恢复代价更高。RDD 通过记住构建它的操作图来重算,而不是靠复制数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.3 实时计算"之"Spark"(源文件:_epub-src/OEBPS/text00070.html)
- 结论依据:原文说明"如果RDD的每个分区最多只能被一个Child RDD的分区使用,则称之为narrowdependency;若多个Child RDD分区都可以依赖,则称之为widedependency""narrowdependencies的失败恢复更有效,因为它只需要重新计算丢失的parentpartition即可……而widedependencies则牵涉RDD各级的多个parentpartitions""它自身是一个不变的(immutable)数据集;其次,它能够记住构建它的操作图……因此当执行任务的Worker失败时,完全可以通过操作图获得之前执行的操作,进行重新计算",直接支撑本卡结论。
- 原始内容:如果RDD的每个分区最多只能被一个Child RDD的分区使用,则称之为narrowdependency……narrowdependencies的失败恢复更有效,因为它只需要重新计算丢失的parentpartition即可,而且可以并行地在不同节点进行重计算