返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2840

张量并行

理解等级:未标注

张量模型并行是层内切分:不是把层分给不同机器,而是把一个矩阵乘或 Transformer 子层拆到多个 GPU 上共同算。它解决单层参数或激活太大时,流水线按层切仍不够的问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第12章《Megatron》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_063.html) - 结论依据:原文说明 Megatron 通过张量模型并行和流水线并行复现 GPT3,并将本章定位为讲层内切分模型并行。 - 原始内容:NVIDIA Megatron是一个基于PyTorch的分布式训练框架,用来训练超大规模语言模型,它通过综合应用数据并行、张量模型并行和流水线并行来复现GPT3,值得我们深入分析其背后机理。本章通过对NVIDIA Megatron的分析讲解如何进行层内切分模型并行。