知识卡片
权重衰减与L2正则化
正则化的本质是给模型复杂度加价:在损失里加上权重的平方和,即 L2 项,训练时优化器就会顺带把权重压小。权重小意味着输入的小扰动不会引起输出的剧烈变化,函数更平滑,对未见数据更稳。
两种实现位置需要分清:L2 正则改的是损失函数,惩罚项参与梯度计算;权重衰减改的是优化器的参数更新,每一步按比例收缩权重。多数情况下二者等价,常被当作同义词,但在自适应优化器(如 Adam)下,惩罚项会被自适应学习率缩放,两者就不再完全一致。
代价与边界:系数过大时模型有效容量被压得太狠,训练损失和验证损失一起上升,转为欠拟合;系数通常要与学习率、批大小一起调,偏置和归一化层的缩放参数一般不加惩罚。它也无法补救数据本身的问题——标签噪声、分布偏移靠正则化压不住,因此数据质量仍是第一步。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 通过改进模型减少过拟合现象 · 查看原书依据
我们可以将正则化理解为针对模型复杂度的惩罚机制。神经网络中的经典正则化技术包括L2正则化及相关的权重衰减方法。我们可以在训练过程中给损失函数添加一个惩罚项,实现L2正则化。
参考来源
- 位置:《大模型技术30讲》第6讲 通过改进模型减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml)
- 结论依据:原文 6.1.1 节先给出 L2 正则损失的形式与作用,再说明权重衰减作用于优化器而非损失函数,并指出二者依实现与优化器存在细微差别。
- 原始内容:我们可以将正则化理解为针对模型复杂度的惩罚机制。神经网络中的经典正则化技术包括L2正则化及相关的权重衰减方法。我们可以在训练过程中给损失函数添加一个惩罚项,实现L2正则化。