知识卡片
分别控制拉参数与推梯度周期
Downpour模型副本计算Mini-Batch梯度,并可按n_fetch、n_push分别异步拉全局参数与推累计梯度。较少通信能提高吞吐,也使本地参数更陈旧;副本之间与参数分片之间都可异步。选择周期应结合精度、吞吐和故障恢复,不把更少同步或书中实验结果当作任意非凸目标必收敛的证明。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
在每个副本模型利用训练子集合进行Mini-Batch更新参数前,其首先从参数服务器获取当前的全局模型参数。因为DistBelief支持模型并行,即每个副本模型本身也是分布到多台机器上的,所以每台机器只需要和对应存储的与自身参数一致的参数服务器进行通信,即可得到全局模型参数,这样可以有效地减少数据传输量。在接收到全局模型参数后,副本模型运行一次Mini-Batch更新,计算局部梯度,然后将局部梯度传给对应的参数服务器,参数服务器根据局部梯度来更新全局模型参数。通过设定每隔n fetch 步来进行一次拉取全局模型参数操作以及设定每隔n push 步来进行一次推送局部梯度数据操作,可以有效地控制通信总量。算法1是副本模型进行Downpour SGD训练的流程描述。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落165,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。原文过度概括据第一手资料限定:[原始资料](https://research.google/pubs/large-scale-distributed-deep-networks/)。
- 原始内容:在每个副本模型利用训练子集合进行Mini-Batch更新参数前,其首先从参数服务器获取当前的全局模型参数。因为DistBelief支持模型并行,即每个副本模型本身也是分布到多台机器上的,所以每台机器只需要和对应存储的与自身参数一致的参数服务器进行通信,即可得到全局模型参数,这样可以有效地减少数据传输量。在接收到全局模型参数后,副本模型运行一次Mini-Batch更新,计算局部梯度,然后将局部梯度传给对应的参数服务器,参数服务器根据局部梯度来更新全局模型参数。通过设定每隔n fetch 步来进行一次拉取全局模型参数操作以及设定每隔n push 步来进行一次推送局部梯度数据操作,可以有效地控制通信总量。算法1是副本模型进行Downpour SGD训练的流程描述。