知识卡片

普通读书笔记卡 · 2774.e

RDD依赖决定恢复代价

理解等级:未标注

Spark 的 RDD 是只读的分区记录集合。子分区最多依赖一个父分区的叫窄依赖(如 map),可在同节点流水线执行,失败时只需重算丢失的父分区;多个子分区依赖同一父分区的叫宽依赖(如 join),恢复代价更高。RDD 通过记住构建它的操作图来重算,而不是靠复制数据。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.1.3 实时计算"之"Spark"(源文件:_epub-src/OEBPS/text00070.html) - 结论依据:原文说明"如果RDD的每个分区最多只能被一个Child RDD的分区使用,则称之为narrowdependency;若多个Child RDD分区都可以依赖,则称之为widedependency""narrowdependencies的失败恢复更有效,因为它只需要重新计算丢失的parentpartition即可……而widedependencies则牵涉RDD各级的多个parentpartitions""它自身是一个不变的(immutable)数据集;其次,它能够记住构建它的操作图……因此当执行任务的Worker失败时,完全可以通过操作图获得之前执行的操作,进行重新计算",直接支撑本卡结论。 - 原始内容:如果RDD的每个分区最多只能被一个Child RDD的分区使用,则称之为narrowdependency……narrowdependencies的失败恢复更有效,因为它只需要重新计算丢失的parentpartition即可,而且可以并行地在不同节点进行重计算