知识卡片
Spark内存计算
Hadoop MapReduce 每一步都从 HDFS 读数据、再把中间结果写回 HDFS,多次落盘,IO 效率不高。Spark 读取数据后在内存中存储和运算,全部算完再写回集群;中间结果优先放内存,不够才放磁盘。官网称批处理快近 10 倍、内存分析快近 100 倍,实际应用中一般只快两三倍。数据丢失时,RDD 可以通过血缘关系重新计算恢复。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第6章《Spark分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml)
- 结论依据:原文说明Hadoop MR从HDFS读数据、中间结果写回HDFS再重新读,多次落盘、IO效率不高;Spark读取数据后在内存中存储和运算,全部完成后再存回集群;中间结果优先放内存,不够再放磁盘;官网称批处理快近10倍、内存分析快近100倍,实际应用中一般快两三倍;RDD通过血缘关系实现数据恢复。
- 原始内容:而Spark的设计模式是读取集群中的数据后,在内存中存储和运算,直到全部数据运算完毕后,再存储到集群中。……实际应用中一般快两三倍,而官网描述的100倍是极端的特殊场景。