原书出处
大数据日知录_架构与算法
15 机器学习:范型与架构
图15-15 窄依赖与宽依赖 Spark的调度过程与Dryad的调度过程类似,主要区别是需要将缓存中的RDD数据分片信息考虑进来。调度器检查RDD之间的血统关系图并构建分阶段执行的DAG执行规划。在同一个阶段尽可能容纳最多的窄依赖关系,而不同的阶段则由形成Shuffle传输过程的宽依赖连接起来。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d