知识卡片
深度模型并行
内容
DistBelief 通过模型并行和数据并行训练大规模神经网络：模型切分解决参数过大，数据切分提高样本吞吐。异步更新提升速度，但需要接受参数陈旧带来的收敛噪声。
参考来源
- 位置：《大数据日知录：架构与算法》第16章《机器学习：分布式算法》"16.6.2 DistBelief"及"Downpour SGD"一节（源文件：_epub-src/OEBPS/text00021.html）
- 结论依据：原文明确"DistBelief是能够同时支持数据并行和模型并行的参数服务器架构……因为DistBelief支持模型并行，即每个副本模型本身也是分布到多台机器上的"，Downpour SGD是"采用Mini-Batch方式更新参数的异步SGD模型"，副本模型"计算局部梯度，然后将局部梯度传给对应的参数服务器，参数服务器根据局部梯度来更新全局模型参数"。
- 原始内容：DistBelief是能够同时支持数据并行和模型并行的参数服务器架构的……Downpour SGD可以提高训练效率，其本质是采用Mini-Batch方式更新参数的异步SGD模型……因为DistBelief支持模型并行，即每个副本模型本身也是分布到多台机器上的……副本模型运行一次Mini-Batch更新，计算局部梯度，然后将局部梯度传给对应的参数服务器，参数服务器根据局部梯度来更新全局模型参数。