知识卡片
数据并行与模型并行
数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第3章《TensorFlow框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3-3.xhtml)
- 结论依据:原文说明数据并行在不同GPU上用同样的模型、不同训练样本,分同步(汇总各GPU梯度求平均再更新)和异步(各GPU不等待他人各自更新);模型并行将不同的模型部分分布到不同设备,如输入层放GPU0、隐藏层放GPU1。
- 原始内容:·数据并行:数据并行将在不同的GPU上使用同样的计算模型,对不同模型使用不同的训练样本。……·模型并行:将不同的模型分布到不同的计算设备上进行工作,同一个神经网络可以将输入层放到GPU0,隐藏层放到GPU1等