原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
第一,其向参数服务器发出各种操作命令(比如数值的加、减、乘、除,向量内积或者标量与 向量相乘等操作),各个参数服务器根据命令来对自己负责的全局模型参数数据分片进行各种运算,共同完成目标函数下降方向的计算以及全局模型参数的迭代更新。Sandblaster的一个核心特点就是将全局的权重向量参数按列切分,并将全局操作分解成每个参数服务器的局部操作,这样增加并发程度,比如,假设模型有10亿个模型参数,有10个参数服务器数据分片,那么每个数据分片将模型参数按列划分,各自承担固定的1亿个模型参数的存储与更新工作。Sandblaster将L-BFGS的操作分解为一系列顺序执行的向量内积以及标量向量相乘的运算,这样每个参数服务器可以进行并发运算,且参数服务器之间所需通信的数据很少(Google的论文并未明确具体的运算思路,但估计其基本思想应该与本章“计算广告:逻辑回归”一节中“批学习并行逻辑回归”的思路类似)。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d