知识卡片
Spark的shuffle与并行边界
Spark 是计算节点之间不共享内存、靠网络通信交换数据的分布式平台,典型部署在大量廉价节点上。它把程序拆解成有向无环图 DAG,再按 DAG 决定各步骤的执行方式。并行处理的关键是区分可逐条并行的操作与必须全局洗牌的操作:map、filter 各分片可并行,而 groupByKey、join 要跨节点全量匹配合并,必须 shuffle;reduce 则在汇总结果时逐层降低并行度,最终落到 master 节点。因此 shuffle 和 reduce 划定了纯并行阶段的边界,把 DAG 切成不同 stage。由于 shuffle 极耗通信与存储资源,写程序时应尽量避免。
结构图:
flowchart LR
A[输入数据 Partition] --> B[map filter 逐条转换]
B --> C{是否需全局匹配或合并}
C -->|是 groupByKey join| D[shuffle 跨节点交换]
C -->|否| E[Stage内部并行计算]
D --> F[reduce 逐层汇总]
E --> F
F --> G[master汇总结果]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
一句话总结Spark的计算过程:Stage内部数据高效并行计算,Stage边界处进行消耗资源的shuffle操作或者最终的reduce操作。
参考来源
- 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_002.html)
- 结论依据:原文强调 shuffle 和 reduce 操作的发生决定了纯并行处理阶段的边界,并总结 Stage 内部并行、Stage 边界进行 shuffle 或 reduce 的计算过程。
- 原始内容:一句话总结Spark的计算过程:Stage内部数据高效并行计算,Stage边界处进行消耗资源的shuffle操作或者最终的reduce操作。