原书出处
大数据日知录_架构与算法
15 机器学习:范型与架构
1.Spark Spark在本质上仍然是一个DAG批处理计算系统,在其提出之前已经有Dryad等通用DAG计算系统,考虑到很多迭代类机器学习问题在迭代计算过程中会反复重用很多中间数据,这些数据被称为工作集数据(Working Set),而Dryad等系统并未明确提出针对工作集数据的优化处理策略,在数据处理过程中需要反复将工作集数据输入/输出到磁盘,所以传统的DAG系统处理这类问题的效率并不太高。Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续迭代计算过程中大大提升此类问题的处理效率。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d