知识卡片

普通读书笔记卡

迭代计算用前轮结果

理解等级:中级

迭代计算把上一轮结果作为下一轮的输入或条件,重复推进直到满足目标;聚类和模型训练有此类过程。反复落盘可能增加中间数据读写,因此设计时常考虑在内存保留可复用结果。发散:是否放内存还受数据规模、容错和资源限制约束,不能只凭“迭代”就决定存储方式。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“关于分布式的一些概念与产品”(源文件:`_epub-src/OEBPS/text00017.html`) - 结论依据:原文说明上一阶段结果构成下一阶段条件,举数据挖掘聚类及机器学习为例,并指出频繁读写文件会影响效率。 - 原始内容:这种计算方式使用Hadoop的Map/Reduce并不好弄,它有个最大的区别,就是需要考虑阶段,上一阶段的结果是下一阶段的条件,而且为了高效,最好中间结果保存内存,不要频繁读写文件