返回主题:训练并行策略

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 1780.b.1

MR迭代显式传递模型

理解等级:中级

基于MapReduce的迭代学习把一次迭代拆为局部计算和全局合并:Mapper读取当前全局模型与数据子集,Reducer汇总局部结果,形成下一轮模型;未达到终止条件则提交下一轮作业。每轮的全局状态必须明确保存和传递,作业启动、磁盘读写与Shuffle都可能成为额外成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      图15-5是使用MapReduce计算机制来解决迭代式机器学习问题的一个抽象计算模型,其由多轮迭代组成。在一轮迭代过程中,Map阶段将所有的训练数据划分成子集合,每个Mapper程序结合子集合内的训练数据和全局参数计算局部模型,Reduce阶段收集各个局部模型综合计算出全局模型,这里常用的综合方法是采取求均值的方式,同时,Reducer利用新的全局模型更新全局参数供下一轮迭代的Mapper使用。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对MR迭代显式传递模型给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:图15-5是使用MapReduce计算机制来解决迭代式机器学习问题的一个抽象计算模型,其由多轮迭代组成。在一轮迭代过程中,Map阶段将所有的训练数据划分成子集合,每个Mapper程序结合子集合内的训练数据和全局参数计算局部模型,Reduce阶段收集各个局部模型综合计算出全局模型,这里常用的综合方法是采取求均值的方式,同时,Reducer利用新的全局模型更新全局参数供下一轮迭代的Mapper使用。