知识卡片
数据模型并行
内容
数据并行把样本分到多机，共享同一模型；模型并行把超大参数切到多机，共同服务一次训练。样本规模和参数规模哪个先越界，决定并行方向。
参考来源
- 位置：《大数据日知录：架构与算法》第15章《机器学习：范型与架构》"15.1.2 数据并行VS.模型并行"一节（源文件：_epub-src/OEBPS/text00020.html）
- 结论依据：原文明确"数据并行……指的是将训练数据划分成若干子集合，每个子集合都运行相同的学习算法……分别得到局部训练模型"；"模型并行……指的是在模型参数巨大的情形下，单机往往没有能力单独完成整个机器学习算法的建模过程，此时必须将整个机器学习模型分布到多台机器上联合完成训练过程"。
- 原始内容：所谓"数据并行"，指的是将训练数据划分成若干子集合，每个子集合都运行相同的学习算法来进行并行训练过程……所谓"模型并行"，指的是在模型参数巨大的情形下，单机往往没有能力单独完成整个机器学习算法的建模过程，此时必须将整个机器学习模型分布到多台机器上联合完成训练过程。