知识卡片

普通读书笔记卡 · 9888.c · 生成模型:Hunyuan

范数惩罚的约束诠释

理解等级:高级

参数范数惩罚可等价看成对权重施加约束:固定乘子后,最小化目标加惩罚与在可行域内最小化原目标是同一问题,惩罚系数越大对应约束区域越小。这带来两点实用价值。其一,显式约束配合重投影(每步先下降再把参数投影回可行域)在已知合适边界时更直接,且不会像惩罚那样鼓励权重趋近原点、陷入“死亡单元”式的局部极小。其二,逐列范数约束比整体Frobenius约束更能防止单个隐藏单元权重过大。此外,正则化还能稳定欠定问题:给奇异的矩阵加对角项保证可逆,伪逆正是权重衰减在系数趋于零时的极限;线性可分的逻辑回归中,权重衰减也让持续增大权重的迭代最终收敛。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      因此,我们可以把参数范数惩罚看作对权重强加的约束。如果Ω是L 2 范数,那么权重就是被约束在一个L 2 球中。如果Ω是L 1 范数,那么权重就是被约束在一个L 1 范数限制的区域中。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文用广义Lagrange函数把范数惩罚与约束对应,讨论重投影的优点,并用正则化求逆与伪逆解释欠定问题。 - 原始内容:因此,我们可以把参数范数惩罚看作对权重强加的约束。如果Ω是L 2 范数,那么权重就是被约束在一个L 2 球中。如果Ω是L 1 范数,那么权重就是被约束在一个L 1 范数限制的区域中。