知识卡片
镜像策略原理
TensorFlow 2.0 提供 MirroredStrategy、CentralStorageStrategy、MultiWorkerMirroredStrategy、ParameterServerStrategy 四种分布策略,本章聚焦适合单机多卡数据并行同步更新的镜像策略。它的做法是在每个 GPU 上保存一份完整模型副本,模型里的每个变量都被镜像到所有副本,这些镜像变量构成一个 MirroredVariable 概念变量,通过施加相同更新保持彼此一致。变量传递依靠高效的 All-reduce 算法,默认用 NCCL 作为实现,也可切换其他选项。以两个 GPU 为例,每轮数据被分成两个批量分发给各卡,梯度在各卡算出后汇总到 CPU 求平均,再更新参数并进入下一轮。理解这套机制就能解释为什么一般训练只有一个卡忙,而镜像策略能让多卡都参与计算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 附录A 基于GPU的TensorFlow 2+与PyTorch 1+升级安装 · 查看原书依据
镜像策略用于单机多卡数据并行同步更新的情况,在每个GPU上保存一份模型副本,模型中的每个变量都镜像在所有副本中。这些变量一起形成一个名为MirroredVariable的概念变量。通过进行相同的更新,可保持这些变量彼此同步。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》附录A 基于GPU的TensorFlow 2+与PyTorch 1+升级安装(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter21_0009.xhtml)
- 结论依据:原文 A.10.1 列出四种策略,说明镜像策略的模型副本、MirroredVariable、NCCL All-reduce 以及两卡场景下的梯度汇总流程。
- 原始内容:镜像策略用于单机多卡数据并行同步更新的情况,在每个GPU上保存一份模型副本,模型中的每个变量都镜像在所有副本中。这些变量一起形成一个名为MirroredVariable的概念变量。通过进行相同的更新,可保持这些变量彼此同步。