← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.842Z

模型任务的一个子集,因此仅保留整体模型参数的一小部分,从而节省内存。不同GPU上的连续层之间通过点对点通信基元进行通信。

在将大型模型划分为连续层时,每一层的输入和输出之间的相互依赖性会导致非活动期。在非活动期中,工作站必须等待前一台设备的输出。这些不活跃的时期称为“气泡”,会导致闲置机器可利用的计算能力损失。

在图6-7描述的一个简单的流水线并行配置中,一个具有顺序层的神经网络样本被划分到4个加速器上。由于网络的顺序依赖性,朴素

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d