知识卡片
Spark擅长迭代计算
Spark 与 MapReduce 的关键区别是:作业的中间结果可以保存在内存中,不必反复读写 HDFS,因此特别适合数据挖掘、机器学习这类需要多轮迭代的计算。它是分布式内存计算引擎,本身没有存储功能,可以独立集群部署、运行在 Yarn 上或本地运行;在此之上还有流处理、SQL、机器学习库 MLlib 和图计算 GraphX。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第3章《大数据基础》(源文件:_epub-src/OEBPS/Text/chapter3.xhtml)
- 结论依据:原文说明Spark拥有MapReduce的优点,但Job中间输出结果可以保存在内存中,不再需要读写HDFS,因此更适用于数据挖掘与机器学习等需要迭代的算法;Spark是分布式内存计算框架,是计算引擎但没有存储功能;可Standalone、Spark on Yarn和Local三种方式运行;除批处理外还有Streaming、SQL、MLlib、GraphX。
- 原始内容:不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce算法。……Spark是一个分布式内存计算框架;Spark是一个计算引擎但没有存储功能