← 返回卡片

原书出处

大数据日知录_架构与算法

15 机器学习:范型与架构

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.165Z

图15-15 窄依赖与宽依赖 Spark的调度过程与Dryad的调度过程类似,主要区别是需要将缓存中的RDD数据分片信息考虑进来。调度器检查RDD之间的血统关系图并构建分阶段执行的DAG执行规划。在同一个阶段尽可能容纳最多的窄依赖关系,而不同的阶段则由形成Shuffle传输过程的宽依赖连接起来。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d