知识卡片
窄依赖看父分区去向
RDD原论文把窄依赖定义为:每个父RDD分区至多被一个子RDD分区使用;宽依赖允许一个父分区被多个子分区使用。窄依赖可让一个子分区合并多个父分区,故不是“子分区只依赖固定少数父分区”的一般定义。join是否需要宽依赖,还取决于双方分区方式与数据放置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
图15-14 Spark RDD示例 上述例子中较为概略地刻画了Spark中RDD的特点,在实际运行中,为了增加并行性,RDD是允许数据分片(Partition)的,即一个RDD的数据可能被切割成多个数据分片,为了方便表达父子RDD之间的依赖关系,Spark将数据分片情形下的RDD依赖关系分为两类:窄依赖(Narrow Dependency)和宽依赖(Wide Dependency)。如果子RDD的每个数据分片依赖常数个父RDD的数据分片,则这种依赖被称为窄依赖。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对窄依赖看父分区去向给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:图15-14 Spark RDD示例 上述例子中较为概略地刻画了Spark中RDD的特点,在实际运行中,为了增加并行性,RDD是允许数据分片(Partition)的,即一个RDD的数据可能被切割成多个数据分片,为了方便表达父子RDD之间的依赖关系,Spark将数据分片情形下的RDD依赖关系分为两类:窄依赖(Narrow Dependency)和宽依赖(Wide Dependency)。如果子RDD的每个数据分片依赖常数个父RDD的数据分片,则这种依赖被称为窄依赖。
- 定义校正依据:[RDD原论文](https://www.istc-cc.cmu.edu/publications/papers/2012/nsdi12-zaharia.pdf),第4节;原书图15-15结合原论文定义理解。