原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
实验表明,当增加深度神经网络的规模(包括增加训练数据和模型参数规模)时,深度学习模型的分类精度会有大幅度的提高。但是当模型大到训练数据的规模达到千万量级、模型参数达到10亿量级时,GPU、MR等方式的并行计算架构都无法有效地解决此等规模的问题。为了能够解决如此规模的机器学习应用问题,Google开发了DistBelief分布式计算框架,本质上,DistBelief是能够同时支持数据并行和模型并行的参数服务器架构的。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d