← 返回卡片

原书出处

大数据日知录_架构与算法

15 机器学习:范型与架构

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.162Z

1.Spark Spark在本质上仍然是一个DAG批处理计算系统,在其提出之前已经有Dryad等通用DAG计算系统,考虑到很多迭代类机器学习问题在迭代计算过程中会反复重用很多中间数据,这些数据被称为工作集数据(Working Set),而Dryad等系统并未明确提出针对工作集数据的优化处理策略,在数据处理过程中需要反复将工作集数据输入/输出到磁盘,所以传统的DAG系统处理这类问题的效率并不太高。Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续迭代计算过程中大大提升此类问题的处理效率。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d

本卡其他出处