返回主题:训练并行策略

知识卡片

操作参考卡 · 5442

独立SGD副本末尾求均值

理解等级:高级

书中并行SGD让每个Worker获得完整训练数据,独立随机抽样执行T步,最后收集参数向量取均值。它通过独立轨迹减少训练中的通信,不是把样本分片后逐步聚合梯度。适用的收敛结论有目标、抽样和步长等假设,不能把参数平均普遍用于任意非凸网络并保证等同单机最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      从以上两个算法可以看出其执行逻辑为:首先,总控程序将所有的训练数据分发到k 台服务器,每台服务器获得完整的训练数据。然后,每台服务器可并行执行单机SGD任务,单机SGD任务顺序地从所有的训练数据中随机抽样,并根据其梯度的反方向作为目标函数下降方向,每次以η 步长更新特征权重向量。如此反复执行T 次,每台服务器的单机SGD任务可以得到一个模型参数,之后总控程序从每台服务器收集到各自的模型后,通过取均值的方式来获得最终的模型参数。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落29,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:从以上两个算法可以看出其执行逻辑为:首先,总控程序将所有的训练数据分发到k 台服务器,每台服务器获得完整的训练数据。然后,每台服务器可并行执行单机SGD任务,单机SGD任务顺序地从所有的训练数据中随机抽样,并根据其梯度的反方向作为目标函数下降方向,每次以η 步长更新特征权重向量。如此反复执行T 次,每台服务器的单机SGD任务可以得到一个模型参数,之后总控程序从每台服务器收集到各自的模型后,通过取均值的方式来获得最终的模型参数。