知识卡片

普通读书笔记卡

内存可减少迭代数据读写

理解等级:中级

反复使用中间结果的迭代任务,若每轮都经文件读写,会增加 I/O;书中以当时的 Spark 为例,说明尽可能在内存保留数据以减少这项开销。它是执行路径的一种取舍,不代表数据能无限留在内存。发散:还要评估内存容量、失败恢复和数据重算的代价。参见 [[迭代计算用前轮结果]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“Spark”(源文件:`_epub-src/OEBPS/text00017.html`) - 结论依据:原文说明 Spark 当时通过尽量使用内存来做迭代计算,并与 Hadoop 的分布式文件 I/O 路径对比;此处只保留中间结果复用的设计取舍。 - 原始内容:Spark用比较少的Scala代码实现,跟Hadoop基于分布式文件IO操作方式不同,Spark尽可能利用内存去做迭代计算,并使用mesos管理机器资源分配。