知识卡片
异步SGD用权重插值
异步 SGD 中各计算节点不必互相等待,把参数交给参数服务器后立即取回全局参数进入下一轮,因此会同时存在多个全局参数版本,直接用梯度更新全局参数对收敛影响很大。书中的改进是:节点先用梯度更新本地权重,再把本地权重发给参数服务器,服务器按系数 α 对本地与全局权重做线性插值来更新全局参数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-6-2.xhtml)
- 结论依据:原文说明异步更新时各节点不等待,传参后立即获得全局参数进入下次迭代,导致产生多个全局参数版本,直接用梯度更新全局对收敛影响大;改进为节点用梯度先算本地权重,发送权重给参数服务器,按本地参数的全局权重α用线性插值更新全局参数。
- 原始内容:这样会导致产生多个全局参数的版本。在异步环境下,使用梯度值对全局进行更新对算法的收敛影响比较大。……(1)在计算节点上分别计算梯度值,不直接发送给参数服务器,使用梯度值计算本地权重参数。……这里可以使用线性插值法