知识卡片
残差连接用捷径保住梯度
残差连接的做法很朴素:把一层的输入 x 直接加到该层的变换结果 F(x) 上,输出 F(x)+x,等于在若干层之外并联了一条不做变换的”捷径”。书上把这条捷径的作用说得很直接——缓解深层网络的梯度消失,让信息不必穿过所有层也能流动。
机制在反向传播时才看得清楚。对 F(x)+x 求导,梯度里始终含有一个恒等项,即使 F 那一支的梯度因为连乘而变得很小,梯度仍能沿捷径原样回传到浅层,参数不至于完全停止更新。这也是为什么堆叠层数增加时,残差让训练不至于因梯度衰减而失效。代价是加法要求两条支路同形:通道数或空间尺寸不一致时,必须先对输入做下采样或投影对齐,书中示例中的残差块就为这种情况准备了下采样层。
书中用梯度检查来验证这一点:打印各残差块卷积层与归一化层的参数梯度,观察它们在深层是否仍有正常数值,以此说明梯度传播顺畅。残差本身不增加参数(对齐层除外),却改变了整个网络的优化性质,这也是它成为 [[层堆叠靠注意力与前馈逐层抽象]] 之前提的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
残差连接是一种将输入直接添加到输出的机制,它通过构建“捷径”路径缓解了深层网络中的梯度消失问题,使得信息可以在不经过所有层的情况下流动,从而提高深层神经网络的训练效率。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0004.xhtml)
- 结论依据:原文称残差"通过构建'捷径'路径缓解了深层网络中的梯度消失问题",并在结果解析中以梯度检查"证实了残差连接能缓解梯度消失问题",本卡据此解释机制与同形要求。
- 原始内容:残差连接是一种将输入直接添加到输出的机制,它通过构建“捷径”路径缓解了深层网络中的梯度消失问题,使得信息可以在不经过所有层的情况下流动,从而提高深层神经网络的训练效率。