知识卡片
宽依赖切阶段
若子分区依赖上游的多个分区,如groupByKey、join,就是Shuffle依赖(宽依赖):数据必须按键重新分布,往往要跨节点传输,并先落盘再被下游拉取。因此它是Stage的边界:上游全部写完输出,下游才能开始。作业慢时,先看Shuffle读写量和各分区大小是否均匀,这是最常见的成本来源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00138.html、_epub-src/EPUB/text00140.html)
- 结论依据:原文说明RDD分区依赖上游多个分区即Shuffle依赖(宽依赖),因依赖的分区Task不止一个,往往需要跨节点传输数据。
- 原始内容:ShuffleDependency由于所依赖的分区Task不止一个,所以往往需要跨节点传输数据。……或者RDD的分区依赖于上游RDD的多个分区,那么这种依赖关系就叫做Shuffle依赖(ShuffleDependency)。