知识卡片
范数惩罚的约束诠释
参数范数惩罚可等价看成对权重施加约束:固定乘子后,最小化目标加惩罚与在可行域内最小化原目标是同一问题,惩罚系数越大对应约束区域越小。这带来两点实用价值。其一,显式约束配合重投影(每步先下降再把参数投影回可行域)在已知合适边界时更直接,且不会像惩罚那样鼓励权重趋近原点、陷入“死亡单元”式的局部极小。其二,逐列范数约束比整体Frobenius约束更能防止单个隐藏单元权重过大。此外,正则化还能稳定欠定问题:给奇异的矩阵加对角项保证可逆,伪逆正是权重衰减在系数趋于零时的极限;线性可分的逻辑回归中,权重衰减也让持续增大权重的迭代最终收敛。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
因此,我们可以把参数范数惩罚看作对权重强加的约束。如果Ω是L 2 范数,那么权重就是被约束在一个L 2 球中。如果Ω是L 1 范数,那么权重就是被约束在一个L 1 范数限制的区域中。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文用广义Lagrange函数把范数惩罚与约束对应,讨论重投影的优点,并用正则化求逆与伪逆解释欠定问题。
- 原始内容:因此,我们可以把参数范数惩罚看作对权重强加的约束。如果Ω是L 2 范数,那么权重就是被约束在一个L 2 球中。如果Ω是L 1 范数,那么权重就是被约束在一个L 1 范数限制的区域中。