← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9546.g · 生成模型:DeepSeek-V4.1-Flash

残差连接用捷径保住梯度

理解等级:中级

残差连接的做法很朴素:把一层的输入 x 直接加到该层的变换结果 F(x) 上,输出 F(x)+x,等于在若干层之外并联了一条不做变换的”捷径”。书上把这条捷径的作用说得很直接——缓解深层网络的梯度消失,让信息不必穿过所有层也能流动。

机制在反向传播时才看得清楚。对 F(x)+x 求导,梯度里始终含有一个恒等项,即使 F 那一支的梯度因为连乘而变得很小,梯度仍能沿捷径原样回传到浅层,参数不至于完全停止更新。这也是为什么堆叠层数增加时,残差让训练不至于因梯度衰减而失效。代价是加法要求两条支路同形:通道数或空间尺寸不一致时,必须先对输入做下采样或投影对齐,书中示例中的残差块就为这种情况准备了下采样层。

书中用梯度检查来验证这一点:打印各残差块卷积层与归一化层的参数梯度,观察它们在深层是否仍有正常数值,以此说明梯度传播顺畅。残差本身不增加参数(对齐层除外),却改变了整个网络的优化性质,这也是它成为 [[层堆叠靠注意力与前馈逐层抽象]] 之前提的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer模型基础 · 查看原书依据

      残差连接是一种将输入直接添加到输出的机制,它通过构建“捷径”路径缓解了深层网络中的梯度消失问题,使得信息可以在不经过所有层的情况下流动,从而提高深层神经网络的训练效率。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0004.xhtml) - 结论依据:原文称残差"通过构建'捷径'路径缓解了深层网络中的梯度消失问题",并在结果解析中以梯度检查"证实了残差连接能缓解梯度消失问题",本卡据此解释机制与同形要求。 - 原始内容:残差连接是一种将输入直接添加到输出的机制,它通过构建“捷径”路径缓解了深层网络中的梯度消失问题,使得信息可以在不经过所有层的情况下流动,从而提高深层神经网络的训练效率。