知识卡片
重计算与卸载换显存
反向传播需要前向的中间激活,而激活常常比参数更占显存(长序列、大微批次时尤甚)。显存不够有两条互补的路:用时间换,或用带宽换。
重计算(激活检查点):前向只保存少量边界激活(如每个阶段或每隔若干层的输出),反向需要中间值时现场重算。显存占用从随层数乘批次增长,降为随检查点数量增长,可以换取更大的批次或更深的模型;代价是多一次前向,典型开销约 20%,数值结果不变。
卸载:把激活或参数搬到 CPU 内存或 NVMe,反向时再预取回来,受总线带宽限制,因此要挑搬得少、用得多的张量,并尽量用预取与计算重叠。
极限形态:ZeRO-Infinity 把优化器状态放 NVMe、激活放 CPU、参数与梯度留 GPU;参数再按数据并行度切片,各卡只存一份,需要时用多条链路并行拉取并全收集重建,使聚合带宽随卡数线性增长,从而在单节点上训练万亿参数模型。
选择:算力富余选重计算,带宽富余选卸载,二者可联合优化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
再具体化策略(Chen et al,2016)在前向传递过程中只存储部分激活,并在反向传递过程中重新计算剩余部分。用于再具体化的具体方法可能因所使用的计算图的类型而异。假设我们将网络划分为若干阶段,每个阶段的工作负载相等。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「再具体化策略(Chen et al,2016)在前向传递过程中只存储…」为中心展开,本卡的核心判断「反向传播需要前向的中间激活,而激活常常比参数更占显存(长序列、大微批次时尤甚)。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:再具体化策略(Chen et al,2016)在前向传递过程中只存储部分激活,并在反向传递过程中重新计算剩余部分。用于再具体化的具体方法可能因所使用的计算图的类型而异。假设我们将网络划分为若干阶段,每个阶段的工作负载相等。