← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1780.b

数据模型并行

理解等级:中级

数据并行切分训练样本,各工作者执行相同学习算法并融合参数更新;模型并行切分模型参数或计算层,各机器联合完成训练。前者主要解决数据规模,后者主要解决单机容纳不下模型等限制;同一训练系统也可把两者组合,代价是增加不同维度的通信。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      所谓“数据并行”,指的是将训练数据划分成若干子集合,每个子集合都运行相同的学习算法来进行并行训练过程,这样分别得到局部训练模型,在机器学习语境下,往往会有一个融合局部训练模型为全局训练模型的过程(显式地独立融合过程或者通过参数服务器同步或者异步方式融合等不同的策略)。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对数据模型并行给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:所谓“数据并行”,指的是将训练数据划分成若干子集合,每个子集合都运行相同的学习算法来进行并行训练过程,这样分别得到局部训练模型,在机器学习语境下,往往会有一个融合局部训练模型为全局训练模型的过程(显式地独立融合过程或者通过参数服务器同步或者异步方式融合等不同的策略)。