知识卡片
层归一化按特征维度标准化
层归一化在每次前向时,先对单个样本的所有特征求均值与方差,把该向量标准化成零均值、单位方差的分布,再乘上一个可学习的缩放参数 γ、加上可学习的偏置 β,把分布重新拉伸到模型需要的位置。γ、β 与网络其他参数一起训练,因此标准化后的尺度不是死的,模型可以自己决定每个特征保留多少幅度。
关键在”沿哪个维度统计”。批归一化是在一个 batch 内、对同一特征跨样本求统计量,依赖 batch 的大小与样本是否同分布;层归一化则只看当前样本自己的特征,与同批其他样本无关。由此带来两个差别:一是序列任务中样本长度不一、小批量训练时批统计量本身波动很大,层归一化不受影响;二是它不需要为推理阶段单独保存滑动平均统计量,训练与推理的行为一致。
它的作用是把每层输入的分布拉回可控范围,减少分布偏移造成的训练震荡,从而加速收敛。代价是它不利用跨样本信息,在某些视觉任务上不如批归一化;但在 Transformer 这类以序列和小批量为主的场景里,逐样本标准化更稳。它与 [[残差连接用捷径保住梯度]] 通常成对出现,一个管尺度,一个管梯度通路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
层归一化将输入在特征维度上进行标准化,并使用可学习的缩放参数和偏置参数进行调整,使得网络能够更灵活地适应不同任务。相比于批归一化,层归一化在序列建模任务和小批量数据训练中更加适用。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0004.xhtml)
- 结论依据:原文指出层归一化"将输入在特征维度上进行标准化"并使用可学习的缩放与偏置参数,且"相比于批归一化,层归一化在序列建模任务和小批量数据训练中更加适用",本卡据此对比两种统计维度。
- 原始内容:层归一化将输入在特征维度上进行标准化,并使用可学习的缩放参数和偏置参数进行调整,使得网络能够更灵活地适应不同任务。相比于批归一化,层归一化在序列建模任务和小批量数据训练中更加适用。