知识卡片
细粒度数据调度减轻拖尾
Sandblaster把训练集切成比每副本固定份额更小的数据片,空闲副本领取未完成片,快机器一轮内做更多工作,从而减少等待最慢静态分片的时间。动态调度改善负载均衡,不取消本轮梯度齐备的屏障;还须按片跟踪完成和重试,避免同一片贡献重复计入或遗漏。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
第二,“协调器”控制协调训练数据的分片与具体分配的工作,从图16-13可以看出,Sandblaster的训练数据并非像Downpour SGD一样按照模型副本的个数均分,而是将所有的训练数据切割成更小粒度的数据分片。换句话说,如果共有N 个模型副本,每个数据分片的规模要远小于1/N ,在此基础上可以采取一种优化的负载均衡策略。模型副本执行协调器分配给自己的一部分训练数据,当完成这些训练数据的本轮局部梯度计算后,将梯度数据发送给参数服务器,处于空闲状态,等待下一轮迭代开始。当协调器发现某个模型副本已经处于空闲状态,而仍有部分训练数据切片还没有进行本轮迭代,则将新的训练数据分片分配给这个空闲模型副本执行。也就是说,运行较快的副本模型可以执行更多的数据分片的局部梯度计算,这样使得机器资源获得充分利用,避免数据均分带来的运算快的模型副本等待最慢的模型副本执行完才能开始下一轮迭代,从而提高了系统的执行效率。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落172,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:第二,“协调器”控制协调训练数据的分片与具体分配的工作,从图16-13可以看出,Sandblaster的训练数据并非像Downpour SGD一样按照模型副本的个数均分,而是将所有的训练数据切割成更小粒度的数据分片。换句话说,如果共有N 个模型副本,每个数据分片的规模要远小于1/N ,在此基础上可以采取一种优化的负载均衡策略。模型副本执行协调器分配给自己的一部分训练数据,当完成这些训练数据的本轮局部梯度计算后,将梯度数据发送给参数服务器,处于空闲状态,等待下一轮迭代开始。当协调器发现某个模型副本已经处于空闲状态,而仍有部分训练数据切片还没有进行本轮迭代,则将新的训练数据分片分配给这个空闲模型副本执行。也就是说,运行较快的副本模型可以执行更多的数据分片的局部梯度计算,这样使得机器资源获得充分利用,避免数据均分带来的运算快的模型副本等待最慢的模型副本执行完才能开始下一轮迭代,从而提高了系统的执行效率。