知识卡片

普通读书笔记卡 · 2572.a

内存削减I/O

理解等级:未标注

MapReduce的map端把中间结果写磁盘,reduce端再从磁盘读回,实时和迭代场景首先卡在磁盘I/O上。Spark允许把中间结果留在内存,优先用内存、不足时才落盘,因此适合迭代、交互和流式计算。这是它的主要设计取向,但不等于所有作业都受限于I/O:CPU、网络、GC和分区不均同样可能是瓶颈,调优要先定位。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第2章《设计理念与基本架构》(源文件:_epub-src/EPUB/text00022.html、_epub-src/EPUB/text00026.html) - 结论依据:原文说明Hadoop MapReduce把中间结果存盘、reduce端再读盘,使磁盘I/O成为瓶颈;Spark允许把map端中间结果存在内存,并优先用内存、不足时才用磁盘,适合实时、迭代、流式计算。“瓶颈不只在I/O”为审查补充的边界。 - 原始内容:Hadoop MapReduce的map端将中间输出和结果存储在磁盘中,reduce端又需要从磁盘读写中间结果,势必造成磁盘I/O成为瓶颈。……Spark优先考虑使用各节点的内存作为存储,当内存不足时才会考虑使用磁盘,这极大地减少了磁盘I/O,提升了任务执行的效率