此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
MR迭代显式传递模型
基于MapReduce的迭代学习把一次迭代拆为局部计算和全局合并:Mapper读取当前全局模型与数据子集,Reducer汇总局部结果,形成下一轮模型;未达到终止条件则提交下一轮作业。每轮的全局状态必须明确保存和传递,作业启动、磁盘读写与Shuffle都可能成为额外成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
图15-5是使用MapReduce计算机制来解决迭代式机器学习问题的一个抽象计算模型,其由多轮迭代组成。在一轮迭代过程中,Map阶段将所有的训练数据划分成子集合,每个Mapper程序结合子集合内的训练数据和全局参数计算局部模型,Reduce阶段收集各个局部模型综合计算出全局模型,这里常用的综合方法是采取求均值的方式,同时,Reducer利用新的全局模型更新全局参数供下一轮迭代的Mapper使用。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对MR迭代显式传递模型给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:图15-5是使用MapReduce计算机制来解决迭代式机器学习问题的一个抽象计算模型,其由多轮迭代组成。在一轮迭代过程中,Map阶段将所有的训练数据划分成子集合,每个Mapper程序结合子集合内的训练数据和全局参数计算局部模型,Reduce阶段收集各个局部模型综合计算出全局模型,这里常用的综合方法是采取求均值的方式,同时,Reducer利用新的全局模型更新全局参数供下一轮迭代的Mapper使用。