知识卡片
迭代计算与分布式存储
在书中实验中,HDFS 作为分布式持久存储,Spark 承担迭代运算。数据可以从存储系统读取,迭代重复使用的数据可以留在内存中以减少再次读写。这两个组件的职责不同,实验只计迭代耗时,因而还需另测端到端数据准备成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- CoCoA框架下的Lasso回归分布式求解 10.3.1 实验设置 · 查看原书依据
educe所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
参考来源
- 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第10章《CoCoA框架下的Lasso回归分布式求解》10.3.1 实验设置(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter10.xhtml)
- 结论依据:10.3.1 实验设置中的定义、更新式或实验叙述提供本卡依据。在书中实验中,HDFS 作为分布式持久存储,Spark 承担迭代运算。
- 原始内容:educe所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。