返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2840.b

并行组组合

理解等级:未标注

Megatron 同时维护模型并行组和数据并行组:前者共同持有一个模型切片集合,后者在相同位置上做梯度归约。大模型训练的关键是让通信范围匹配参数共享范围。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第12章《Megatron》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_064.html) - 结论依据:原文说明相同位置 GPU 形成数据并行组,具有相同模型参数的进程分配到同一组,并执行 All-Reduce。 - 原始内容:• 数据并行。在每个模型并行组中具有相同位置的GPU(例如图中的GPU 1,9,…,505)形成数据并行组(Data Parallel Group),即具有相同模型参数的进程被分配到同一个数据并行组之中。对于数据并行,All-Reduce操作在每个模型并行组中选取一个特定GPU来执行。