知识卡片

普通读书笔记卡 · 2831

参数服务器

理解等级:未标注

参数服务器把“参数存储与更新”提升成独立系统组件,让 Worker 专注计算梯度,Server 专注维护模型状态,Scheduler 管理集群。它像为迭代收敛工作负载定制的分布式内存数据库。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第3章《参数服务器之PS-Lite》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_017.html) - 结论依据:原文将参数服务器定义为分布式机器学习编程框架,并类比为机器学习领域的分布式内存数据库。 - 原始内容:参数服务器是机器学习训练的一种范式,是为解决分布式机器学习问题的一个编程框架,主要包括服务器端、客户端和调度器。与其他范式相比,参数服务器把模型参数存储和更新提升为主要组件,并且使用多种方法提高系统的处理能力。如果做一个类比,参数