← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

06 第6章 训练更大的模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.844Z

再具体化 激活再具体化(activations rematerialization)也称“激活检查点”或“梯度检查点”,

再具体化策略(Chen et al,2016)在前向传递过程中只存储部分激活,并在反向传递过程中重新计算剩余部分。用于再具体化的具体方法可能因所使用的计算图的类型而异。假设我们将网络划分为若干阶段,每个阶段的工作负载相等。

在这种情况下,只有发生在分区边界的激活才会被保留下来,并在工作站之间共享。在每个分区的层内发生的中间激活仍然需要用于计算

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d