← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.843Z

分块,并将每个分块托管在不同的GPU上,以计算整个矩阵乘积的相关部分,然后再将结果合并来实现。 图6-12 模型并行示例

在模型并行中,需要两种类型的通信——全收集操作(确保所有处理器都接收前向传递的所有激活)和全归约操作(通过聚合输入梯度反向传递激活梯度)。

对于前向传递过程中的矩阵乘法,需要全收集通信,以确保所有处理器都可以访问彼此的激活数据,这与全归约操作相同,但没有两倍系

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d