← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9557.c · 生成模型:DeepSeek-V4.1-Flash

权重衰减压制过拟合

理解等级:中级

权重衰减是在损失之外给参数加一项惩罚,效果等价于在每次更新时把权重按比例往零拉一点,使参数幅度不会无限增大。原文把它定位为防止过拟合的手段:在优化器中引入权重衰减,在梯度下降过程中对权重添加小幅正则化,从而提升泛化能力,示例取 0.01。

机制上,小数据微调时模型容易靠”大权重 + 尖锐的决策边界”记住训练样本;权重衰减抬高了大权重的代价,迫使模型选择更平滑的解,测试集表现更稳。它与学习率是两个独立旋钮:学习率管每步走多远,权重衰减管参数能长多大。两者需要匹配——学习率很小而衰减过大时,有效更新会被持续抵消,模型几乎学不动。

实现上还有一个细节:衰减通常只作用于权重矩阵,偏置与归一化层的参数一般排除在外,否则会削弱表示能力。因此按参数名分组设置是常规做法,这也是 [[冻结底层,解冻顶层]] 里”只把可训练参数交给优化器”这一习惯的延伸。

原文示例最终准确率为 1.00,这种饱和结果反而说明评估集太小,不能用来判断正则化是否起了作用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      (2)权重衰减:在优化器中引入权重衰减可以防止模型过拟合。权重衰减在梯度下降过程中对权重添加小幅正则化,从而提升模型的泛化能力。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0003.xhtml) - 结论依据:原文第(2)条说明权重衰减可防止过拟合、通过小幅正则化提升泛化能力,代码解析中给出权重衰减 0.01。 - 原始内容:(2)权重衰减:在优化器中引入权重衰减可以防止模型过拟合。权重衰减在梯度下降过程中对权重添加小幅正则化,从而提升模型的泛化能力。