← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1780.d.1.d

窄依赖看父分区去向

理解等级:中级

RDD原论文把窄依赖定义为:每个父RDD分区至多被一个子RDD分区使用;宽依赖允许一个父分区被多个子分区使用。窄依赖可让一个子分区合并多个父分区,故不是“子分区只依赖固定少数父分区”的一般定义。join是否需要宽依赖,还取决于双方分区方式与数据放置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      图15-14 Spark RDD示例 上述例子中较为概略地刻画了Spark中RDD的特点,在实际运行中,为了增加并行性,RDD是允许数据分片(Partition)的,即一个RDD的数据可能被切割成多个数据分片,为了方便表达父子RDD之间的依赖关系,Spark将数据分片情形下的RDD依赖关系分为两类:窄依赖(Narrow Dependency)和宽依赖(Wide Dependency)。如果子RDD的每个数据分片依赖常数个父RDD的数据分片,则这种依赖被称为窄依赖。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对窄依赖看父分区去向给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:图15-14 Spark RDD示例 上述例子中较为概略地刻画了Spark中RDD的特点,在实际运行中,为了增加并行性,RDD是允许数据分片(Partition)的,即一个RDD的数据可能被切割成多个数据分片,为了方便表达父子RDD之间的依赖关系,Spark将数据分片情形下的RDD依赖关系分为两类:窄依赖(Narrow Dependency)和宽依赖(Wide Dependency)。如果子RDD的每个数据分片依赖常数个父RDD的数据分片,则这种依赖被称为窄依赖。 - 定义校正依据:[RDD原论文](https://www.istc-cc.cmu.edu/publications/papers/2012/nsdi12-zaharia.pdf),第4节;原书图15-15结合原论文定义理解。