知识卡片
正则化:L1 稀疏 L2 衰减
训练模型的默认策略是最小化损失函数,这叫最小化经验风险。问题在于经验风险只关心训练集:只要能压低训练误差,模型可以把权重调得很大、把每个样本都穿过。于是需要给目标函数加一项惩罚参数复杂度的 J(w),变成结构风险:
min 经验风险 + λ·J(w)
这里的取舍原则来自奥卡姆剃刀:在能较好匹配已知数据的前提下,模型越简单越好。J(w) 随模型复杂度单调递增,所以两项相加实际上是在”拟合得好”和”别太复杂”之间找平衡。λ 控制惩罚力度,λ 越大,模型被压得越简单。
J(w) 常取权重向量的 p 范数 ‖w‖_p = (Σ|wⱼ|^p)^(1/p),三种选择的行为差别很大:
L0 范数(非零元素个数)最符合直觉:用它就是希望 w 里大部分元素为 0,即稀疏。稀疏的价值是自动做特征选择——现实特征里总有一部分是噪声,全部纳入反而干扰预测,稀疏化会把无用特征的权重直接置 0。但 L0 是 NP 难问题,几乎无法优化求解,所以实际不用。
L1 范数(Σ|wⱼ|)是 L0 的最优凸近似,既稀疏又好解,因此成为替代品。看梯度就能明白它为什么能压到 0:∂|wⱼ|/∂wⱼ = sign(wⱼ),更新式变为 wⱼ ← wⱼ − η·(原梯度 + λ·sign(wⱼ))。当 wⱼ > 0 时每次都被往下压一点,wⱼ < 0 时被往上抬一点,整体效果是把权重往 0 拽,最终可能恰好停在 0(实现上规定 sign(0) = 0 以统一处理不可导点)。
L2 范数(√Σwⱼ²)的更新式里多出的项与 wⱼ 成正比,效果是 wⱼ ← (1 − ηλ)·wⱼ,即每步都按固定比例缩小权重,这叫权重衰减。它让所有权重整体变小、更平滑,但一般不会精确变成 0。
| L0 | L1(Lasso) | L2(Ridge) | |
|---|---|---|---|
| 惩罚 | 非零个数 | 绝对值之和 | 平方和 |
| 权重结果 | 稀疏 | 可精确为 0,稀疏 | 整体缩小,趋近 0 |
| 可优化性 | NP 难 | 凸、可解 | 凸、光滑易解 |
| 典型用途 | 理论上的稀疏目标 | 特征选择 | 抑制共线性、稳定解 |
选择上有一条简单判断:需要”挑特征”、希望模型稀疏可解释,用 L1;特征之间高度相关、只想让系数稳定不爆炸,用 L2。两者结合就是 [[ElasticNet 混合正则]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.2.2 过拟合与正则化 · 查看原书依据
根据奥卡姆剃刀(Occam's Razor)原理:在模型能够较好地匹配已知数据的前提下,模型越简单越好。而模型的“简单”程度可通过模型的参数情况来度量,所以一般采用在经验损失的基础上加上一项关于模型参数复杂度的规则化函数J(w)来平衡。