原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
在每个副本模型利用训练子集合进行Mini-Batch更新参数前,其首先从参数服务器获取当前的全局模型参数。因为DistBelief支持模型并行,即每个副本模型本身也是分布到多台机器上的,所以每台机器只需要和对应存储的与自身参数一致的参数服务器进行通信,即可得到全局模型参数,这样可以有效地减少数据传输量。在接收到全局模型参数后,副本模型运行一次Mini-Batch更新,计算局部梯度,然后将局部梯度传给对应的参数服务器,参数服务器根据局部梯度来更新全局模型参数。通过设定每隔n fetch 步来进行一次拉取全局模型参数操作以及设定每隔n push 步来进行一次推送局部梯度数据操作,可以有效地控制通信总量。算法1是副本模型进行Downpour SGD训练的流程描述。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d