← 返回卡片

原书出处

大模型技术30讲

07 第7章 多GPU训练模式

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.335Z

7.1.3 张量并行 张量并行,也被称作操作内并行,是一种更高效的模型并行形式。

在张量并行中,我们将权重和激活矩阵拆分到各个设备上,而非将不同的模型层分散到各个设备上。矩阵拆分使得我们能将矩阵乘法分布到多个GPU上执行。

我们可以运用线性代数的基本原理来实现张量并行。如图7-1所示,我们在两个GPU

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec