← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9948.a.1.a.2 · 生成模型:GPT-6

迭代计算与分布式存储

理解等级:中级

在书中实验中,HDFS 作为分布式持久存储,Spark 承担迭代运算。数据可以从存储系统读取,迭代重复使用的数据可以留在内存中以减少再次读写。这两个组件的职责不同,实验只计迭代耗时,因而还需另测端到端数据准备成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第10章《CoCoA框架下的Lasso回归分布式求解》10.3.1 实验设置(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter10.xhtml) - 结论依据:10.3.1 实验设置中的定义、更新式或实验叙述提供本卡依据。在书中实验中,HDFS 作为分布式持久存储,Spark 承担迭代运算。 - 原始内容:educe所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。