知识卡片
全量梯度齐备后推进批优化
Sandblaster在一轮参数版本上让多个副本计算训练分片局部梯度,汇总本轮所需数据后执行L-BFGS方向计算和参数更新,再进入下一轮。它与Downpour的持续异步更新不同,保持批优化的迭代边界;要避免把不同参数版本产生的梯度随意混进同一次全量更新。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
Sandblaster是深度学习模型训练的批学习版本,传统的批优化只能处理小规模的训练数据,Sandblaster则是为了训练规模极大的模型而提出的(见图16-13)。其整体思路是:将所有的训练数据切割后分配到不同的模型副本,在每一步迭代过程中,每个模型副本首先从参数服务器获得最新的模型参数,根据部分训练数据完成目标函数梯度计算的局部更新,并将更新的数据发送给参数服务器,当所有训练数据的本次迭代局部梯度计算都完成后,参数服务器获得了所有训练数据产生的局部梯度数据,完成目标函数下降方向的计算,并更新全局参数,之后可以开始新一轮的迭代。从以上描述可以看出,与Downpour SGD这种完全异步的优化算法比,其每轮迭代存在一轮同步过程,即参数服务器对全局参数的更新步骤。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落168,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:Sandblaster是深度学习模型训练的批学习版本,传统的批优化只能处理小规模的训练数据,Sandblaster则是为了训练规模极大的模型而提出的(见图16-13)。其整体思路是:将所有的训练数据切割后分配到不同的模型副本,在每一步迭代过程中,每个模型副本首先从参数服务器获得最新的模型参数,根据部分训练数据完成目标函数梯度计算的局部更新,并将更新的数据发送给参数服务器,当所有训练数据的本次迭代局部梯度计算都完成后,参数服务器获得了所有训练数据产生的局部梯度数据,完成目标函数下降方向的计算,并更新全局参数,之后可以开始新一轮的迭代。从以上描述可以看出,与Downpour SGD这种完全异步的优化算法比,其每轮迭代存在一轮同步过程,即参数服务器对全局参数的更新步骤。