原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
第二,“协调器”控制协调训练数据的分片与具体分配的工作,从图16-13可以看出,Sandblaster的训练数据并非像Downpour SGD一样按照模型副本的个数均分,而是将所有的训练数据切割成更小粒度的数据分片。换句话说,如果共有N 个模型副本,每个数据分片的规模要远小于1/N ,在此基础上可以采取一种优化的负载均衡策略。模型副本执行协调器分配给自己的一部分训练数据,当完成这些训练数据的本轮局部梯度计算后,将梯度数据发送给参数服务器,处于空闲状态,等待下一轮迭代开始。当协调器发现某个模型副本已经处于空闲状态,而仍有部分训练数据切片还没有进行本轮迭代,则将新的训练数据分片分配给这个空闲模型副本执行。也就是说,运行较快的副本模型可以执行更多的数据分片的局部梯度计算,这样使得机器资源获得充分利用,避免数据均分带来的运算快的模型副本等待最慢的模型副本执行完才能开始下一轮迭代,从而提高了系统的执行效率。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d