知识卡片
迭代计算用前轮结果
迭代计算把上一轮结果作为下一轮的输入或条件,重复推进直到满足目标;聚类和模型训练有此类过程。反复落盘可能增加中间数据读写,因此设计时常考虑在内存保留可复用结果。发散:是否放内存还受数据规模、容错和资源限制约束,不能只凭“迭代”就决定存储方式。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“关于分布式的一些概念与产品”(源文件:`_epub-src/OEBPS/text00017.html`)
- 结论依据:原文说明上一阶段结果构成下一阶段条件,举数据挖掘聚类及机器学习为例,并指出频繁读写文件会影响效率。
- 原始内容:这种计算方式使用Hadoop的Map/Reduce并不好弄,它有个最大的区别,就是需要考虑阶段,上一阶段的结果是下一阶段的条件,而且为了高效,最好中间结果保存内存,不要频繁读写文件