知识卡片
权重衰减压制过拟合
权重衰减是在损失之外给参数加一项惩罚,效果等价于在每次更新时把权重按比例往零拉一点,使参数幅度不会无限增大。原文把它定位为防止过拟合的手段:在优化器中引入权重衰减,在梯度下降过程中对权重添加小幅正则化,从而提升泛化能力,示例取 0.01。
机制上,小数据微调时模型容易靠”大权重 + 尖锐的决策边界”记住训练样本;权重衰减抬高了大权重的代价,迫使模型选择更平滑的解,测试集表现更稳。它与学习率是两个独立旋钮:学习率管每步走多远,权重衰减管参数能长多大。两者需要匹配——学习率很小而衰减过大时,有效更新会被持续抵消,模型几乎学不动。
实现上还有一个细节:衰减通常只作用于权重矩阵,偏置与归一化层的参数一般排除在外,否则会削弱表示能力。因此按参数名分组设置是常规做法,这也是 [[冻结底层,解冻顶层]] 里”只把可训练参数交给优化器”这一习惯的延伸。
原文示例最终准确率为 1.00,这种饱和结果反而说明评估集太小,不能用来判断正则化是否起了作用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型微调实战 · 查看原书依据
(2)权重衰减:在优化器中引入权重衰减可以防止模型过拟合。权重衰减在梯度下降过程中对权重添加小幅正则化,从而提升模型的泛化能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0003.xhtml)
- 结论依据:原文第(2)条说明权重衰减可防止过拟合、通过小幅正则化提升泛化能力,代码解析中给出权重衰减 0.01。
- 原始内容:(2)权重衰减:在优化器中引入权重衰减可以防止模型过拟合。权重衰减在梯度下降过程中对权重添加小幅正则化,从而提升模型的泛化能力。