知识卡片
岭回归的权重衰减
岭回归(Ridge Regression)在普通线性回归的损失上加 L2 正则化项:
min L(w, b) + α‖w‖₂²,α ≥ 0
L2 的更新效果是每步把权重按比例缩小一点:wⱼ ← (1 − ηλ)wⱼ,即权重衰减。它不会像 L1 那样把系数精确压到 0,而是让所有系数整体变小、分布更平滑。
这个”只缩不删”的特性决定了它的适用场景:
- 特征高度相关时。XᵀX 接近奇异,普通最小二乘的解会剧烈震荡、系数甚至正负颠倒;加 L2 相当于给对角线加一个正数,解变得稳定。
- 特征都有用、只想控制幅度时。不需要稀疏,只要防止某些系数被噪声推到极端值。
- 样本少、特征多时。即使不能真正选出特征,收缩也能显著降低方差(参见 [[偏差-方差分解]])。
关键参数:alpha 是 L2 项的调节因子,越大收缩越强;fit_intercept、normalize 含义同普通线性回归;max_iter(1000)与 tol(0.0001)控制迭代;n_iter_ 回看迭代次数。
岭回归特殊之处在于 solver:它把”怎么解这个最优化问题”开放给用户,不同数据形态该选不同的解法。
| solver | 做法 | 适用 |
|---|---|---|
auto |
自动选择(默认) | 不确定时的安全选项 |
svd |
奇异值分解求回归系数 | 数值最稳,特征共线时首选 |
cholesky |
用 scipy.linalg.solve 标准求解 | 数据稠密、维度中等 |
sparse_cg |
共轭梯度求解器 | 大规模、稀疏矩阵 |
lsqr |
专门的正则化最小二乘,速度最快 | 样本/特征很大时追求速度 |
sag |
随机平均梯度下降 | 样本量很大、需要迭代法时 |
选择逻辑可以简化成一句:数据稠密且不大就用 svd/cholesky,追求速度用 lsqr,稀疏或超大规模用 sparse_cg/sag。
与 Lasso 的取舍:岭回归给出的是”全都小”的解,模型里仍保留所有特征,可解释性不如 Lasso;但它在特征共线、噪声较多时更稳。两者结合就是 ElasticNet。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性回归 3.3.3 岭回归 · 查看原书依据
岭回归就是在基本的线性回归的基础上加上一个L2正则化项。前面讲过,L2正则化的主要作用是使各个特征的权重
参考来源
- 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html)
- 结论依据:原文 3.3.3 节说明岭回归是在基本线性回归上加 L2 正则化项、L2 使权重衰减,并逐一列出 alpha、fit_intercept、normalize、max_iter、tol 与 solver(svd/cholesky/sparse_cg/lsqr/sag)的含义。
- 原始内容:岭回归就是在基本的线性回归的基础上加上一个L2正则化项。前面讲过,L2正则化的主要作用是使各个特征的权重……尽量衰减,从而在某种程度上达到一种特征变量选择的效果。