← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.q · 生成模型:DeepSeek-V4.1-Flash

重计算与卸载换显存

理解等级:中级

反向传播需要前向的中间激活,而激活常常比参数更占显存(长序列、大微批次时尤甚)。显存不够有两条互补的路:用时间换,或用带宽换。

重计算(激活检查点):前向只保存少量边界激活(如每个阶段或每隔若干层的输出),反向需要中间值时现场重算。显存占用从随层数乘批次增长,降为随检查点数量增长,可以换取更大的批次或更深的模型;代价是多一次前向,典型开销约 20%,数值结果不变。

卸载:把激活或参数搬到 CPU 内存或 NVMe,反向时再预取回来,受总线带宽限制,因此要挑搬得少、用得多的张量,并尽量用预取与计算重叠。

极限形态:ZeRO-Infinity 把优化器状态放 NVMe、激活放 CPU、参数与梯度留 GPU;参数再按数据并行度切片,各卡只存一份,需要时用多条链路并行拉取并全收集重建,使聚合带宽随卡数线性增长,从而在单节点上训练万亿参数模型。

选择:算力富余选重计算,带宽富余选卸载,二者可联合优化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      再具体化策略(Chen et al,2016)在前向传递过程中只存储部分激活,并在反向传递过程中重新计算剩余部分。用于再具体化的具体方法可能因所使用的计算图的类型而异。假设我们将网络划分为若干阶段,每个阶段的工作负载相等。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「再具体化策略(Chen et al,2016)在前向传递过程中只存储…」为中心展开,本卡的核心判断「反向传播需要前向的中间激活,而激活常常比参数更占显存(长序列、大微批次时尤甚)。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:再具体化策略(Chen et al,2016)在前向传递过程中只存储部分激活,并在反向传递过程中重新计算剩余部分。用于再具体化的具体方法可能因所使用的计算图的类型而异。假设我们将网络划分为若干阶段,每个阶段的工作负载相等。