知识卡片
深度模型并行
DistBelief 通过模型并行和数据并行训练大规模神经网络:模型切分解决参数过大,数据切分提高样本吞吐。异步更新提升速度,但需要接受参数陈旧带来的收敛噪声。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
实验表明,当增加深度神经网络的规模(包括增加训练数据和模型参数规模)时,深度学习模型的分类精度会有大幅度的提高。但是当模型大到训练数据的规模达到千万量级、模型参数达到10亿量级时,GPU、MR等方式的并行计算架构都无法有效地解决此等规模的问题。为了能够解决如此规模的机器学习应用问题,Google开发了DistBelief分布式计算框架,本质上,DistBelief是能够同时支持数据并行和模型并行的参数服务器架构的。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》"16.6.2 DistBelief"及"Downpour SGD"一节(源文件:_epub-src/OEBPS/text00021.html)
- 结论依据:原文明确"DistBelief是能够同时支持数据并行和模型并行的参数服务器架构……因为DistBelief支持模型并行,即每个副本模型本身也是分布到多台机器上的",Downpour SGD是"采用Mini-Batch方式更新参数的异步SGD模型",副本模型"计算局部梯度,然后将局部梯度传给对应的参数服务器,参数服务器根据局部梯度来更新全局模型参数"。
- 原始内容:DistBelief是能够同时支持数据并行和模型并行的参数服务器架构的……Downpour SGD可以提高训练效率,其本质是采用Mini-Batch方式更新参数的异步SGD模型……因为DistBelief支持模型并行,即每个副本模型本身也是分布到多台机器上的……副本模型运行一次Mini-Batch更新,计算局部梯度,然后将局部梯度传给对应的参数服务器,参数服务器根据局部梯度来更新全局模型参数。