知识卡片
Ring去中心
Ring All-Reduce 的关键不是“环”这个形状,而是把中心聚合拆成邻居间的分段传递。每个节点既计算也转发,避免参数服务器热点;代价是整体流程更依赖所有节点按协议推进。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第2章《集合通信》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_016.html)
- 结论依据:原文说明 Ring 拓扑中各节点只与相邻节点通信,All-Reduce 无中心节点,每个节点都是梯度汇总计算节点。
- 原始内容:义的成对消息在一组进程之间同步状态(状态在深度学习情况下为张量)。■ Ring意味着设备之间的拓扑结构为一个逻辑环形,各个节点只与相邻的两个节点通信。■ All-Reduce代表网络拓扑之中没有中心节点,每个节点都是梯度的汇总计算节点。因为不需要参数服务器,所有节点都参与计算和存储,所以避免了中心化