← 返回卡片

原书出处

大模型技术30讲

07 第7章 多GPU训练模式

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.335Z

时,将输入矩阵和权重矩阵拆分到不同的GPU上并行处理。 7.1.4 流水线并行

流水线并行与模型并行类似,会在前向传播时将激活值传递下去。其独特之处在于,在反向传播过程中,输入张量的梯度会被传回来,以防止设备空闲。

从某种意义上讲,流水线并行是数据并行和模型并行的一种高阶混合版。 我们可以将流水

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec