知识卡片
张量并行
张量模型并行是层内切分:不是把层分给不同机器,而是把一个矩阵乘或 Transformer 子层拆到多个 GPU 上共同算。它解决单层参数或激活太大时,流水线按层切仍不够的问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习:系统、工程与实战》第12章《Megatron》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_063.html)
- 结论依据:原文说明 Megatron 通过张量模型并行和流水线并行复现 GPT3,并将本章定位为讲层内切分模型并行。
- 原始内容:NVIDIA Megatron是一个基于PyTorch的分布式训练框架,用来训练超大规模语言模型,它通过综合应用数据并行、张量模型并行和流水线并行来复现GPT3,值得我们深入分析其背后机理。本章通过对NVIDIA Megatron的分析讲解如何进行层内切分模型并行。