知识卡片
独立SGD副本末尾求均值
书中并行SGD让每个Worker获得完整训练数据,独立随机抽样执行T步,最后收集参数向量取均值。它通过独立轨迹减少训练中的通信,不是把样本分片后逐步聚合梯度。适用的收敛结论有目标、抽样和步长等假设,不能把参数平均普遍用于任意非凸网络并保证等同单机最优。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
从以上两个算法可以看出其执行逻辑为:首先,总控程序将所有的训练数据分发到k 台服务器,每台服务器获得完整的训练数据。然后,每台服务器可并行执行单机SGD任务,单机SGD任务顺序地从所有的训练数据中随机抽样,并根据其梯度的反方向作为目标函数下降方向,每次以η 步长更新特征权重向量。如此反复执行T 次,每台服务器的单机SGD任务可以得到一个模型参数,之后总控程序从每台服务器收集到各自的模型后,通过取均值的方式来获得最终的模型参数。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落29,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:从以上两个算法可以看出其执行逻辑为:首先,总控程序将所有的训练数据分发到k 台服务器,每台服务器获得完整的训练数据。然后,每台服务器可并行执行单机SGD任务,单机SGD任务顺序地从所有的训练数据中随机抽样,并根据其梯度的反方向作为目标函数下降方向,每次以η 步长更新特征权重向量。如此反复执行T 次,每台服务器的单机SGD任务可以得到一个模型参数,之后总控程序从每台服务器收集到各自的模型后,通过取均值的方式来获得最终的模型参数。