知识卡片

普通读书笔记卡 · 2826

Spark内存计算

理解等级:未标注

Hadoop MapReduce 每一步都从 HDFS 读数据、再把中间结果写回 HDFS,多次落盘,IO 效率不高。Spark 读取数据后在内存中存储和运算,全部算完再写回集群;中间结果优先放内存,不够才放磁盘。官网称批处理快近 10 倍、内存分析快近 100 倍,实际应用中一般只快两三倍。数据丢失时,RDD 可以通过血缘关系重新计算恢复。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第6章《Spark分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml) - 结论依据:原文说明Hadoop MR从HDFS读数据、中间结果写回HDFS再重新读,多次落盘、IO效率不高;Spark读取数据后在内存中存储和运算,全部完成后再存回集群;中间结果优先放内存,不够再放磁盘;官网称批处理快近10倍、内存分析快近100倍,实际应用中一般快两三倍;RDD通过血缘关系实现数据恢复。 - 原始内容:而Spark的设计模式是读取集群中的数据后,在内存中存储和运算,直到全部数据运算完毕后,再存储到集群中。……实际应用中一般快两三倍,而官网描述的100倍是极端的特殊场景。