← 返回刚才阅读的位置

知识卡片

结构图卡 · 1781.o.1.a

副本计算与参数操作分工

理解等级:高级

原图Replica.ProcessPortion(portion)负责取本轮参数、读取数据分片和累加梯度;ParameterServer.PerformOperation(operation)负责被协调器调度的参数运算。两类对象方法说明数据分片工作与模型分片工作分离。原伪代码没有声明参数具体类型和返回类型,结构图只保留原签名,不补造接口契约。

结构图:

classDiagram
class Replica {
 ProcessPortion(portion)
}
class ParameterServer {
 PerformOperation(operation)
}
Replica ..> ParameterServer : 提交局部梯度
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      算法2是Sandblaster L-BFGS的整体执行流程描述,从中可以看出,与Downpour SGD相比,Sandblaster每个副本模型与参数服务器的通信次数要少得多,其只是在每轮迭代开始前从参数服务器拉取全局模型参数,在完成一部分数据分片局部梯度计算后,将这些数据发送给参数服务器。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落173,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:算法2是Sandblaster L-BFGS的整体执行流程描述,从中可以看出,与Downpour SGD相比,Sandblaster每个副本模型与参数服务器的通信次数要少得多,其只是在每轮迭代开始前从参数服务器拉取全局模型参数,在完成一部分数据分片局部梯度计算后,将这些数据发送给参数服务器。