知识卡片

普通读书笔记卡 · 9888.a · 生成模型:Hunyuan

L2权重衰减的曲率缩放

理解等级:中级

L2参数正则化(权重衰减)在目标函数上加上权重平方和惩罚,使权重趋向原点。从梯度看,每步更新先按比例收缩权重再做常规梯度下降。用Hessian特征向量分析可知,惩罚沿各主轴按相应因子缩放权重:曲率大(特征值大)的方向对目标函数重要,收缩很轻;曲率小、对目标无贡献的方向则被压向零。在线性回归中,这等价于给协方差矩阵对角加一个常数,使算法“感知”到高方差输入,抑制与输出协方差小的特征权重。注意通常只惩罚权重不惩罚偏置,以免拟合不足。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      只有在显著减小目标函数方向上的参数会保留得相对完好。在无助于目标函数减小的方向(对应Hessian矩阵较小的特征值)上改变参数不会显著增加梯度。这种不重要方向对应的分量会在训练过程中因正则化而衰减掉。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文用Hessian特征向量分解说明权重衰减沿轴缩放,指出不重要方向的分量会被正则化衰减掉,并给出线性回归协方差矩阵的对应解释。 - 原始内容:只有在显著减小目标函数方向上的参数会保留得相对完好。在无助于目标函数减小的方向(对应Hessian矩阵较小的特征值)上改变参数不会显著增加梯度。这种不重要方向对应的分量会在训练过程中因正则化而衰减掉。