知识卡片

普通读书笔记卡 · 2577.a

窄依赖可流水线

理解等级:未标注

若RDD的每个分区只依赖上游的一个(或少数几个固定)分区,就是窄依赖,如map、filter。窄依赖不需要跨节点重新分布数据,所以被放在同一个Stage里,按管道方式逐条迭代执行:一条记录经过多次转换后才写出,不产生中间落盘。能写成窄依赖的逻辑,就少一次Shuffle。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00138.html) - 结论依据:原文说明RDD与上游分区一对一即窄依赖,窄依赖会被划分到同一Stage,以管道方式迭代执行。 - 原始内容:NarrowDependency会被划分到同一个Stage中,这样它们就能以管道的方式迭代执行。