知识卡片
内存削减I/O
MapReduce的map端把中间结果写磁盘,reduce端再从磁盘读回,实时和迭代场景首先卡在磁盘I/O上。Spark允许把中间结果留在内存,优先用内存、不足时才落盘,因此适合迭代、交互和流式计算。这是它的主要设计取向,但不等于所有作业都受限于I/O:CPU、网络、GC和分区不均同样可能是瓶颈,调优要先定位。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第2章《设计理念与基本架构》(源文件:_epub-src/EPUB/text00022.html、_epub-src/EPUB/text00026.html)
- 结论依据:原文说明Hadoop MapReduce把中间结果存盘、reduce端再读盘,使磁盘I/O成为瓶颈;Spark允许把map端中间结果存在内存,并优先用内存、不足时才用磁盘,适合实时、迭代、流式计算。“瓶颈不只在I/O”为审查补充的边界。
- 原始内容:Hadoop MapReduce的map端将中间输出和结果存储在磁盘中,reduce端又需要从磁盘读写中间结果,势必造成磁盘I/O成为瓶颈。……Spark优先考虑使用各节点的内存作为存储,当内存不足时才会考虑使用磁盘,这极大地减少了磁盘I/O,提升了任务执行的效率