知识卡片
副本计算与参数操作分工
原图Replica.ProcessPortion(portion)负责取本轮参数、读取数据分片和累加梯度;ParameterServer.PerformOperation(operation)负责被协调器调度的参数运算。两类对象方法说明数据分片工作与模型分片工作分离。原伪代码没有声明参数具体类型和返回类型,结构图只保留原签名,不补造接口契约。
结构图:
classDiagram
class Replica {
ProcessPortion(portion)
}
class ParameterServer {
PerformOperation(operation)
}
Replica ..> ParameterServer : 提交局部梯度
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
算法2是Sandblaster L-BFGS的整体执行流程描述,从中可以看出,与Downpour SGD相比,Sandblaster每个副本模型与参数服务器的通信次数要少得多,其只是在每轮迭代开始前从参数服务器拉取全局模型参数,在完成一部分数据分片局部梯度计算后,将这些数据发送给参数服务器。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落173,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:算法2是Sandblaster L-BFGS的整体执行流程描述,从中可以看出,与Downpour SGD相比,Sandblaster每个副本模型与参数服务器的通信次数要少得多,其只是在每轮迭代开始前从参数服务器拉取全局模型参数,在完成一部分数据分片局部梯度计算后,将这些数据发送给参数服务器。