知识卡片
内存可减少迭代数据读写
反复使用中间结果的迭代任务,若每轮都经文件读写,会增加 I/O;书中以当时的 Spark 为例,说明尽可能在内存保留数据以减少这项开销。它是执行路径的一种取舍,不代表数据能无限留在内存。发散:还要评估内存容量、失败恢复和数据重算的代价。参见 [[迭代计算用前轮结果]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“Spark”(源文件:`_epub-src/OEBPS/text00017.html`)
- 结论依据:原文说明 Spark 当时通过尽量使用内存来做迭代计算,并与 Hadoop 的分布式文件 I/O 路径对比;此处只保留中间结果复用的设计取舍。
- 原始内容:Spark用比较少的Scala代码实现,跟Hadoop基于分布式文件IO操作方式不同,Spark尽可能利用内存去做迭代计算,并使用mesos管理机器资源分配。