返回主题:Spark内核执行机制

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 1780.d

RDD支撑迭代

理解等级:中级

迭代学习反复访问同一训练集或中间工作集。Spark用不可变、可分区的RDD表达这些数据,并允许选择性持久化,减少每轮重新读取与计算。若分区丢失,可依据生成它的转换链重算。收益取决于复用次数、内存和重算成本,书中约20倍是特定历史实验,不能当作固定加速保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      Spark大数据处理协议栈是AMPLab实验室推出的一套与Hadoop 2.0功能类似的完善处理各种大数据应用的整体解决方案,其最核心的部分是适合解决迭代式机器学习类问题的DAG批处理系统Spark,在此基础上,逐渐在其上层开发出流式计算系统D-Stream、图计算系统GraphX、机器学习库MLlib以及MLBase等适用于不同场景的子系统,遂形成了一整套大数据处理技术方案。本篇论文讲解DAG批处理系统Spark的设计思路与原理,Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续的迭代计算过程大大提升迭代类机器学习类问题的处理效率。Spark是集成了RDD模型的DAG批处理系统,它在RDD增加数据复用与系统处理速度的优势基础上,同时还具备传统DAG系统很强的容错性、数据局部性感知的调度策略以及高可扩展性。虽然Spark具有学习成本高的缺点,但是发展潜力较大,很可能会成为解决迭代式机器学习领域问题的标准工具。

    • 机器学习:范型与架构 · 查看原书依据

      1.Spark Spark在本质上仍然是一个DAG批处理计算系统,在其提出之前已经有Dryad等通用DAG计算系统,考虑到很多迭代类机器学习问题在迭代计算过程中会反复重用很多中间数据,这些数据被称为工作集数据(Working Set),而Dryad等系统并未明确提出针对工作集数据的优化处理策略,在数据处理过程中需要反复将工作集数据输入/输出到磁盘,所以传统的DAG系统处理这类问题的效率并不太高。Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续迭代计算过程中大大提升此类问题的处理效率。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对RDD支撑迭代给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:1.Spark Spark在本质上仍然是一个DAG批处理计算系统,在其提出之前已经有Dryad等通用DAG计算系统,考虑到很多迭代类机器学习问题在迭代计算过程中会反复重用很多中间数据,这些数据被称为工作集数据(Working Set),而Dryad等系统并未明确提出针对工作集数据的优化处理策略,在数据处理过程中需要反复将工作集数据输入/输出到磁盘,所以传统的DAG系统处理这类问题的效率并不太高。Spark针对工作集数据提出了基于内存的分布式存储抽象模型:可恢复分布式数据集(Resilient Distributed Datasets,简称RDD),这样工作集数据可以有选择性地被加载并常驻在内存中,有利于后续迭代计算过程中大大提升此类问题的处理效率。