原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
分块,并将每个分块托管在不同的GPU上,以计算整个矩阵乘积的相关部分,然后再将结果合并来实现。 图6-12 模型并行示例
在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。
对于前向传递过程中的矩阵乘法,需要全收集通信,以确保所有处理器都可以访问彼此的激活数据,这与全归约操作相同,但没有两倍系
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d