知识卡片

普通读书笔记卡 · 2824.e

Spark擅长迭代计算

理解等级:未标注

Spark 与 MapReduce 的关键区别是:作业的中间结果可以保存在内存中,不必反复读写 HDFS,因此特别适合数据挖掘、机器学习这类需要多轮迭代的计算。它是分布式内存计算引擎,本身没有存储功能,可以独立集群部署、运行在 Yarn 上或本地运行;在此之上还有流处理、SQL、机器学习库 MLlib 和图计算 GraphX。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml) - 结论依据:原文说明Spark拥有MapReduce的优点,但Job中间输出结果可以保存在内存中,不再需要读写HDFS,因此更适用于数据挖掘与机器学习等需要迭代的算法;Spark是分布式内存计算框架,是计算引擎但没有存储功能;可Standalone、Spark on Yarn和Local三种方式运行;除批处理外还有Streaming、SQL、MLlib、GraphX。 - 原始内容:不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce算法。……Spark是一个分布式内存计算框架;Spark是一个计算引擎但没有存储功能