知识卡片
参数服务器
参数服务器把共享全局参数表示成分布式KV或表,训练工作者读取参数、计算局部更新再提交。书以Petuum说明客户端缓存如何减少网络访问,并为更新可见性规定一致性边界。服务器把参数存储与训练计算分开;缓存更新不等于全部工作者立刻可见,也不能单凭这种架构证明训练收敛。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
参数服务器是实现分布式机器学习算法的一种典型架构,目前很多研究集中在这个方向,比如,Google能够处理百亿参数规模的深度机器学习框架DistBelief就是此种架构。从本质上讲,可以将参数服务器看作是传统共享内存方式在网络环境下的并行扩展版本。Petuum是CMU提出的通用参数服务器架构,其由众多并发执行的带有参数缓存的客户端和由多台保存全局参数的参数服务器集群构成。对于很多迭代类机器学习算法,利用Petuum既可以保证算法的正确性,也可以快速处理海量数据。学习这篇论文有助于对参数服务器的宏观架构设计中面临的问题及较通用的解决方案有较深入、全面的了解。
- 机器学习:范型与架构 · 查看原书依据
1.参数服务器架构 本节以Petuum为例介绍通用的参数服务器架构形态。Petuum是CMU提出的通用参数服务器架构(见图15-18),其由众多并发执行的客户端和由多台参数服务器构成的参数服务器集群构成,其中一台参数服务器充当主控服务器(Name-Node)的作用,并负责数据路由以及数据分片在不同的服务器间分配等工作。参数服务器集群是一个类似于分布式共享内存的分布式KV存储池,用于存储机器学习任务中各个并行客户端共享的全局参数,不同应用的全局参数可以放置在参数服务器集群不同的表格中。Petuum采取部分同步范型,不同的表格可以绑定不同的部分同步参数设置。客户端可以在合适的时机更新参数服务器中对应表格的全局参数,当其更新参数服务器对应的参数后,这个更新后的参数即对其他客户端可见。每个客户端还可以在本地缓存部分参数服务器里的参数值,一般情况下,客户端直接从本地缓存存取参数值,只有当达到一定条件时才会通过网络访问参数服务器集群内对应的参数,这样可以减少数据同步操作次数及网络通信数量,有效地加快整个任务的执行效率。