← 返回卡片

原书出处

大数据日知录_架构与算法

16 机器学习:分布式算法

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.178Z

Sandblaster是深度学习模型训练的批学习版本,传统的批优化只能处理小规模的训练数据,Sandblaster则是为了训练规模极大的模型而提出的(见图16-13)。其整体思路是:将所有的训练数据切割后分配到不同的模型副本,在每一步迭代过程中,每个模型副本首先从参数服务器获得最新的模型参数,根据部分训练数据完成目标函数梯度计算的局部更新,并将更新的数据发送给参数服务器,当所有训练数据的本次迭代局部梯度计算都完成后,参数服务器获得了所有训练数据产生的局部梯度数据,完成目标函数下降方向的计算,并更新全局参数,之后可以开始新一轮的迭代。从以上描述可以看出,与Downpour SGD这种完全异步的优化算法比,其每轮迭代存在一轮同步过程,即参数服务器对全局参数的更新步骤。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d