知识卡片
参数分片执行向量操作
Sandblaster协调器发送运算命令,让各参数服务器在各自分片上完成向量内积的局部贡献、缩放和更新,再归并所需少量结果。协调器管理流程而非搬运全部模型。分片并行的前提是正确拆分运算与全局归约,原文未公开的全部实现不能由一个架构图臆造出来。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
第一,其向参数服务器发出各种操作命令(比如数值的加、减、乘、除,向量内积或者标量与 向量相乘等操作),各个参数服务器根据命令来对自己负责的全局模型参数数据分片进行各种运算,共同完成目标函数下降方向的计算以及全局模型参数的迭代更新。Sandblaster的一个核心特点就是将全局的权重向量参数按列切分,并将全局操作分解成每个参数服务器的局部操作,这样增加并发程度,比如,假设模型有10亿个模型参数,有10个参数服务器数据分片,那么每个数据分片将模型参数按列划分,各自承担固定的1亿个模型参数的存储与更新工作。Sandblaster将L-BFGS的操作分解为一系列顺序执行的向量内积以及标量向量相乘的运算,这样每个参数服务器可以进行并发运算,且参数服务器之间所需通信的数据很少(Google的论文并未明确具体的运算思路,但估计其基本思想应该与本章“计算广告:逻辑回归”一节中“批学习并行逻辑回归”的思路类似)。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落171,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:第一,其向参数服务器发出各种操作命令(比如数值的加、减、乘、除,向量内积或者标量与 向量相乘等操作),各个参数服务器根据命令来对自己负责的全局模型参数数据分片进行各种运算,共同完成目标函数下降方向的计算以及全局模型参数的迭代更新。Sandblaster的一个核心特点就是将全局的权重向量参数按列切分,并将全局操作分解成每个参数服务器的局部操作,这样增加并发程度,比如,假设模型有10亿个模型参数,有10个参数服务器数据分片,那么每个数据分片将模型参数按列划分,各自承担固定的1亿个模型参数的存储与更新工作。Sandblaster将L-BFGS的操作分解为一系列顺序执行的向量内积以及标量向量相乘的运算,这样每个参数服务器可以进行并发运算,且参数服务器之间所需通信的数据很少(Google的论文并未明确具体的运算思路,但估计其基本思想应该与本章“计算广告:逻辑回归”一节中“批学习并行逻辑回归”的思路类似)。