知识卡片
参数服务器分两层
MXNet 的 KVStore 是基于参数服务器的分布式键值存储,用于训练时交换参数。它采用两层通信结构:第一层处理单机内多个设备(如多块 GPU)之间的通信,第二层处理机器之间的网络通信;第一层可以先把设备间的数据合并,再与第二层通信,降低网络带宽消耗。机器内外带宽和延迟不同,所以可用不同一致性模型,如内层强一致、外层弱一致,以减少同步开销。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第7章《分布式深度学习实战》(源文件:_epub-src/OEBPS/Text/chapter7.xhtml)
- 结论依据:原文说明KVStore是MXNet提供的分布式key-value存储,本质基于参数服务器进行数据交换;使用两层通信结构:第一层管理单机内部多个设备间通信,第二层管理机器间网络通信;第一层可先合并设备间数据降低网络带宽消耗;考虑机器内外带宽和延时不同,可用不同一致性模型,如第一层强一致、第二层弱一致以减少同步开销。
- 原始内容:KVStore在本质上是基于参数服务器来实现数据交换的。……例如第一层用强的一致性模型,而第二层则使用弱的一致性模型来减少同步开销。