原书出处
大数据日知录_架构与算法
附B 延伸阅读
Spark大数据处理协议栈是AMPLab实验室推出的一套与Hadoop 2.0功能类似的完善处理各种大数据应用的整体解决方案,其最核心的部分是适合解决迭代式机器学习类问题的DAG批处理系统Spark,在此基础上,逐渐在其上层开发出流式计算系统D-Stream、图计算系统GraphX、机器学习库MLlib以及MLBase等适用于不同场景的子系统,遂形成了一整套大数据处理技术方案。本篇论文讲解DAG批处理系统Spark的设计思路与原理,Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续的迭代计算过程大大提升迭代类机器学习类问题的处理效率。Spark是集成了RDD模型的DAG批处理系统,它在RDD增加数据复用与系统处理速度的优势基础上,同时还具备传统DAG系统很强的容错性、数据局部性感知的调度策略以及高可扩展性。虽然Spark具有学习成本高的缺点,但是发展潜力较大,很可能会成为解决迭代式机器学习领域问题的标准工具。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00024.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d