← 返回刚才阅读的位置

知识卡片

结构图卡 · 9908.g · 生成模型:Hunyuan

参数服务器的push与pull

理解等级:中级

Parameter Server 是专为分布式梯度下降设计的参数管理框架,由 server 与 worker 两类节点组成。server 节点保存模型参数、接收 worker 上传的局部梯度、汇总全局梯度并更新权重;worker 节点保存部分训练数据,从 server 拉取最新参数后用本地数据算梯度再上传。物理上它类似 manager-worker 架构,分为服务器节点组与多个工作节点组,各组之间以及组内任务之间不通信,任务节点只与 server 交互。整个训练反复执行载入数据、pull 参数、算梯度、push 梯度、server 汇总更新这五步,直到收敛或达到迭代上限。

结构图:

flowchart LR
    S[server 保存模型参数] -->|pull 下发最新参数| W[worker 计算局部梯度]
    W -->|push 上传局部梯度| S
    W --> D[本地训练数据]
    S --> M[汇总全局梯度并更新参数]
    M --> S
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      server节点的主要功能是保存模型参数、接受worker节点计算出的局部梯度、汇总计算全局梯度,并更新模型参数。 · worker节点的主要功能是保存部分训练数据,从server节点拉取最新的模型参数,根据训练数据计算局部梯度,上传给server节点。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_003.html) - 结论依据:原文说明 Parameter Server 由 server 与 worker 节点组成并给出各自职责,且把 push 与 pull 概括为并行梯度下降中最关键的两个操作。 - 原始内容:server节点的主要功能是保存模型参数、接受worker节点计算出的局部梯度、汇总计算全局梯度,并更新模型参数。 · worker节点的主要功能是保存部分训练数据,从server节点拉取最新的模型参数,根据训练数据计算局部梯度,上传给server节点。