知识卡片
残差与层归一化
残差连接:每个子层的输出写成 x 加上子层结果。它提供一条恒等通路,梯度可以不经变换直接回传,深层堆叠才不会因连乘而消失;同时每层只需学习对表征的增量修正,而不是整体重建。
层归一化:对单个词元的所有特征维求均值和标准差并归一化,再做可学习的缩放平移。它不依赖批内统计,因此适合变长序列和小批量;作用是把每层输入的尺度稳住,避免激活值随深度漂移。
放在哪里:Post-LN 把归一化放在残差相加之后,输出层附近梯度容易偏大,学习率高时训练发散,原论文只能靠预热阶段慢慢抬高学习率,既拖慢优化又多了超参数。Pre-LN 把归一化挪进残差分支、并在最后再加一次,训练更稳定,可以省掉预热,GPT-2 之后被广泛采用。
权衡:Pre-LN 更好训,但深层模型的最终效果与 Post-LN 存在差异,常需配合末端归一化;选型本质是在可训练性与表达潜力之间取舍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
在原始Transformer论文中,在残差模块之间加入了层归一化,称为“带有层后归一化(Post-LN)的Transformer”。然而,层后归一化会导致输出层附近的预期梯度很大,使得学习率高时训练过程变得不稳定。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「在原始Transformer论文中,在残差模块之间加入了层归一化,称…」为中心展开,本卡的核心判断「残差连接:每个子层的输出写成 x 加上子层结果。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在原始Transformer论文中,在残差模块之间加入了层归一化,称为“带有层后归一化(Post-LN)的Transformer”。然而,层后归一化会导致输出层附近的预期梯度很大,使得学习率高时训练过程变得不稳定。