知识卡片

操作参考卡 · 9824.g · 生成模型:DeepSeek-V4.1-Flash

岭回归的权重衰减

理解等级:中级

岭回归(Ridge Regression)在普通线性回归的损失上加 L2 正则化项:

min L(w, b) + α‖w‖₂²,α ≥ 0

L2 的更新效果是每步把权重按比例缩小一点:wⱼ ← (1 − ηλ)wⱼ,即权重衰减。它不会像 L1 那样把系数精确压到 0,而是让所有系数整体变小、分布更平滑。

这个”只缩不删”的特性决定了它的适用场景:

  • 特征高度相关时。XᵀX 接近奇异,普通最小二乘的解会剧烈震荡、系数甚至正负颠倒;加 L2 相当于给对角线加一个正数,解变得稳定。
  • 特征都有用、只想控制幅度时。不需要稀疏,只要防止某些系数被噪声推到极端值。
  • 样本少、特征多时。即使不能真正选出特征,收缩也能显著降低方差(参见 [[偏差-方差分解]])。

关键参数:alpha 是 L2 项的调节因子,越大收缩越强;fit_intercept、normalize 含义同普通线性回归;max_iter(1000)与 tol(0.0001)控制迭代;n_iter_ 回看迭代次数。

岭回归特殊之处在于 solver:它把”怎么解这个最优化问题”开放给用户,不同数据形态该选不同的解法。

solver 做法 适用
auto 自动选择(默认) 不确定时的安全选项
svd 奇异值分解求回归系数 数值最稳,特征共线时首选
cholesky 用 scipy.linalg.solve 标准求解 数据稠密、维度中等
sparse_cg 共轭梯度求解器 大规模、稀疏矩阵
lsqr 专门的正则化最小二乘,速度最快 样本/特征很大时追求速度
sag 随机平均梯度下降 样本量很大、需要迭代法时

选择逻辑可以简化成一句:数据稠密且不大就用 svd/cholesky,追求速度用 lsqr,稀疏或超大规模用 sparse_cg/sag。

与 Lasso 的取舍:岭回归给出的是”全都小”的解,模型里仍保留所有特征,可解释性不如 Lasso;但它在特征共线、噪声较多时更稳。两者结合就是 ElasticNet。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.3.3 节说明岭回归是在基本线性回归上加 L2 正则化项、L2 使权重衰减,并逐一列出 alpha、fit_intercept、normalize、max_iter、tol 与 solver(svd/cholesky/sparse_cg/lsqr/sag)的含义。 - 原始内容:岭回归就是在基本的线性回归的基础上加上一个L2正则化项。前面讲过,L2正则化的主要作用是使各个特征的权重……尽量衰减,从而在某种程度上达到一种特征变量选择的效果。