知识卡片
参数服务器的push与pull
Parameter Server 是专为分布式梯度下降设计的参数管理框架,由 server 与 worker 两类节点组成。server 节点保存模型参数、接收 worker 上传的局部梯度、汇总全局梯度并更新权重;worker 节点保存部分训练数据,从 server 拉取最新参数后用本地数据算梯度再上传。物理上它类似 manager-worker 架构,分为服务器节点组与多个工作节点组,各组之间以及组内任务之间不通信,任务节点只与 server 交互。整个训练反复执行载入数据、pull 参数、算梯度、push 梯度、server 汇总更新这五步,直到收敛或达到迭代上限。
结构图:
flowchart LR
S[server 保存模型参数] -->|pull 下发最新参数| W[worker 计算局部梯度]
W -->|push 上传局部梯度| S
W --> D[本地训练数据]
S --> M[汇总全局梯度并更新参数]
M --> S
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
server节点的主要功能是保存模型参数、接受worker节点计算出的局部梯度、汇总计算全局梯度,并更新模型参数。 · worker节点的主要功能是保存部分训练数据,从server节点拉取最新的模型参数,根据训练数据计算局部梯度,上传给server节点。
参考来源
- 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_003.html)
- 结论依据:原文说明 Parameter Server 由 server 与 worker 节点组成并给出各自职责,且把 push 与 pull 概括为并行梯度下降中最关键的两个操作。
- 原始内容:server节点的主要功能是保存模型参数、接受worker节点计算出的局部梯度、汇总计算全局梯度,并更新模型参数。 · worker节点的主要功能是保存部分训练数据,从server节点拉取最新的模型参数,根据训练数据计算局部梯度,上传给server节点。