知识卡片

普通读书笔记卡 · 9686.c · 生成模型:DeepSeek-V4.1-Flash

残差与层归一化

理解等级:高级

残差连接:每个子层的输出写成 x 加上子层结果。它提供一条恒等通路,梯度可以不经变换直接回传,深层堆叠才不会因连乘而消失;同时每层只需学习对表征的增量修正,而不是整体重建。

层归一化:对单个词元的所有特征维求均值和标准差并归一化,再做可学习的缩放平移。它不依赖批内统计,因此适合变长序列和小批量;作用是把每层输入的尺度稳住,避免激活值随深度漂移。

放在哪里:Post-LN 把归一化放在残差相加之后,输出层附近梯度容易偏大,学习率高时训练发散,原论文只能靠预热阶段慢慢抬高学习率,既拖慢优化又多了超参数。Pre-LN 把归一化挪进残差分支、并在最后再加一次,训练更稳定,可以省掉预热,GPT-2 之后被广泛采用。

权衡:Pre-LN 更好训,但深层模型的最终效果与 Post-LN 存在差异,常需配合末端归一化;选型本质是在可训练性与表达潜力之间取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      在原始Transformer论文中,在残差模块之间加入了层归一化,称为“带有层后归一化(Post-LN)的Transformer”。然而,层后归一化会导致输出层附近的预期梯度很大,使得学习率高时训练过程变得不稳定。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「在原始Transformer论文中,在残差模块之间加入了层归一化,称…」为中心展开,本卡的核心判断「残差连接:每个子层的输出写成 x 加上子层结果。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在原始Transformer论文中,在残差模块之间加入了层归一化,称为“带有层后归一化(Post-LN)的Transformer”。然而,层后归一化会导致输出层附近的预期梯度很大,使得学习率高时训练过程变得不稳定。