返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2577.b

宽依赖切阶段

理解等级:未标注

若子分区依赖上游的多个分区,如groupByKey、join,就是Shuffle依赖(宽依赖):数据必须按键重新分布,往往要跨节点传输,并先落盘再被下游拉取。因此它是Stage的边界:上游全部写完输出,下游才能开始。作业慢时,先看Shuffle读写量和各分区大小是否均匀,这是最常见的成本来源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00138.html、_epub-src/EPUB/text00140.html) - 结论依据:原文说明RDD分区依赖上游多个分区即Shuffle依赖(宽依赖),因依赖的分区Task不止一个,往往需要跨节点传输数据。 - 原始内容:ShuffleDependency由于所依赖的分区Task不止一个,所以往往需要跨节点传输数据。……或者RDD的分区依赖于上游RDD的多个分区,那么这种依赖关系就叫做Shuffle依赖(ShuffleDependency)。