返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2793.a

数据并行与模型并行

理解等级:未标注

数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第3章《TensorFlow框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3-3.xhtml) - 结论依据:原文说明数据并行在不同GPU上用同样的模型、不同训练样本,分同步(汇总各GPU梯度求平均再更新)和异步(各GPU不等待他人各自更新);模型并行将不同的模型部分分布到不同设备,如输入层放GPU0、隐藏层放GPU1。 - 原始内容:·数据并行:数据并行将在不同的GPU上使用同样的计算模型,对不同模型使用不同的训练样本。……·模型并行:将不同的模型分布到不同的计算设备上进行工作,同一个神经网络可以将输入层放到GPU0,隐藏层放到GPU1等