← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9866.i · 生成模型:Hunyuan

镜像策略原理

理解等级:中级

TensorFlow 2.0 提供 MirroredStrategy、CentralStorageStrategy、MultiWorkerMirroredStrategy、ParameterServerStrategy 四种分布策略,本章聚焦适合单机多卡数据并行同步更新的镜像策略。它的做法是在每个 GPU 上保存一份完整模型副本,模型里的每个变量都被镜像到所有副本,这些镜像变量构成一个 MirroredVariable 概念变量,通过施加相同更新保持彼此一致。变量传递依靠高效的 All-reduce 算法,默认用 NCCL 作为实现,也可切换其他选项。以两个 GPU 为例,每轮数据被分成两个批量分发给各卡,梯度在各卡算出后汇总到 CPU 求平均,再更新参数并进入下一轮。理解这套机制就能解释为什么一般训练只有一个卡忙,而镜像策略能让多卡都参与计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》附录A 基于GPU的TensorFlow 2+与PyTorch 1+升级安装(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter21_0009.xhtml) - 结论依据:原文 A.10.1 列出四种策略,说明镜像策略的模型副本、MirroredVariable、NCCL All-reduce 以及两卡场景下的梯度汇总流程。 - 原始内容:镜像策略用于单机多卡数据并行同步更新的情况,在每个GPU上保存一份模型副本,模型中的每个变量都镜像在所有副本中。这些变量一起形成一个名为MirroredVariable的概念变量。通过进行相同的更新,可保持这些变量彼此同步。