知识卡片
autocast自动选精度
autocast 是一个上下文管理器。进入之后,框架不再用统一精度执行所有算子,而是逐个判断:矩阵乘、卷积这类适合高吞吐半精度通路的运算转成 FP16 执行,softmax、归一化、损失计算、归约等对数值范围敏感的运算保持 FP32。这样既拿到半精度的速度,又避免把容易溢出的运算放进低精度。
它只影响前向计算中张量的生成精度,不改动模型参数的存储类型——权重仍是 FP32,优化器更新不受影响,反向传播则由框架依据前向记录自动选择对应精度。
使用时有两个容易踩的坑。其一,若手工把模型或输入转成 half,会绕过 autocast 的逐算子判断,反而带来溢出风险。其二,自定义算子若不在白名单里,会退回 FP32 执行,收益不如预期。因此”开了 autocast 就一定快”并不成立,实际加速取决于模型中 FP16 友好算子的占比。
它与损失缩放是两件互补的事:autocast 决定”哪些运算用低精度”,缩放决定”低精度下的梯度是否还看得见”。参见 [[损失缩放避免梯度下溢]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型性能优化:混合精度训练与分布式训练 · 查看原书依据
混合精度配置:引入torch.cuda.amp.GradScaler进行梯度缩放,用于管理低精度训练中的梯度数值。通过自动混合精度的上下文,autocast()控制不同精度类型的运算。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0001.xhtml)
- 结论依据:原文把混合精度配置拆成梯度缩放与自动混合精度上下文两部分,说明后者负责控制不同精度类型的运算。
- 原始内容:混合精度配置:引入torch.cuda.amp.GradScaler进行梯度缩放,用于管理低精度训练中的梯度数值。通过自动混合精度的上下文,autocast()控制不同精度类型的运算。