知识卡片
参数服务器
内容
参数服务器把全局模型参数拆到服务端，工作节点拉取、计算梯度再推回更新。它把共享内存问题改造成网络 KV 问题，适合稀疏大模型，但要控制热点参数和陈旧更新。
参考来源
- 位置：《大数据日知录：架构与算法》第15章《机器学习：范型与架构》"15.3.3 参数服务器（Parameter Server）"一节（源文件：_epub-src/OEBPS/text00020.html）
- 结论依据：原文明确"可以将参数服务器看作是传统的共享内存方式在网络环境下的并行扩展版本"，"参数服务器集群是一个类似于分布式共享内存的分布式KV存储池，用于存储机器学习任务中各个并行客户端共享的全局参数"，客户端"直接从本地缓存存取参数值，只有当达到一定条件时才会通过网络访问参数服务器集群"以减少通信。
- 原始内容：从本质上讲，可以将参数服务器看作是传统的共享内存方式在网络环境下的并行扩展版本……参数服务器集群是一个类似于分布式共享内存的分布式KV存储池，用于存储机器学习任务中各个并行客户端共享的全局参数……客户端直接从本地缓存存取参数值，只有当达到一定条件时才会通过网络访问参数服务器集群内对应的参数，这样可以减少数据同步操作次数及网络通信数量。