← 返回卡片

原书出处

大模型技术30讲

07 第7章 多GPU训练模式

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.335Z

的输出。 7.1.2 数据并行 近几年来,多GPU模型训练默认采用的是数据并行。

在该模式下,我们会将小批量数据划分成更小的微批量数据,然后让每个GPU分别处理一个微批量数据,并计算模型权重的损失和梯度。

在所有单设备上处理完这些微批量数据后,梯度会被汇总,用于计算下一轮的权重更新。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0011.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec