知识卡片

操作参考卡 · 9866.j · 生成模型:Hunyuan

分布式训练实施

理解等级:中级

把一般训练改成镜像策略分布式训练,关键是让模型和所有可训练对象都创建在 strategy.scope() 之内。先用 tf.distribute.MirroredStrategy 建立策略,可用 num_replicas_in_sync 查看参与设备数,也可传 devices 参数指定部分 GPU。批量大小要区分每卡批量与全局批量,全局批量等于每卡批量乘以同步副本数。数据集用 experimental_distribute_dataset 分发,损失函数需把 reduction 设为 NONE 并用 compute_average_loss 按全局批量归一。模型、优化器、检查点、指标与 train_step/test_step 都放在 scope 内定义,训练步再用 experimental_run_v2 复制执行并以 reduce 汇总损失。照此改造后,两个 GPU 都能被充分使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》附录A 基于GPU的TensorFlow 2+与PyTorch 1+升级安装(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter21_0009.xhtml) - 结论依据:原文 A.10.2 至 A.10.10 给出创建策略、设置全局批量、分发数据集、scope 内建模型与优化器、定义损失指标、分布式训练与 GPU 使用情况的代码与结论。 - 原始内容:# 必须在strategy.scope下创建模型和优化器。 with strategy.scope(): model = create_model() optimizer = tf.keras.optimizers.Adam()