返回主题:线性模型与优化算法

知识卡片

普通读书笔记卡 · 3786.b

L1稀疏与L2稳定是不同目标

理解等级:中级

在线性回归的平方残差 ‖Aβ−Y‖² 后加惩罚项 λ·R(β)(λ>0 是正则参数,越大越压低系数),可限制系数大小并处理共线性。共线性指特征之间线性相关,此时 AᵀA 不可逆或接近不可逆(病态:数据稍有变化,解就大幅波动)。

  • L1:R 为各系数绝对值之和,常把部分系数压到恰好为 0,相当于自动筛掉不重要的特征。
  • L2:R 为各系数平方和,把系数连续缩小但通常不为 0,主要作用是让解稳定。

L2 有解析解 β=(AᵀA+λD)⁻¹AᵀY,D 是对角矩阵,截距对应位置为 0(截距不受惩罚)、其余为 1;λ>0 时括号内矩阵一定可逆。原书式(17-11)把逆号和括号排错了位置,应按上式理解,不能直接照抄实现。L1 的绝对值在 0 处不可导,没有这样的逆矩阵公式,需要迭代求解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 7 . 2 最 小 二 乘 法 流 程 · 查看原书依据

      对于正则化的方法,常见的是L1正则项和L2正则项,L1项有助于从很多特征中筛选出重要的特征,使不重要的特征为0(所以L1正则项是个不错的特征选择方法);如果采用L2正则项,实际上解析解就变成了如下形式: λ即正则参数(是一种超参数),后面的矩阵为(n+1)×(n+1)维,如果不考虑常数项,就是一个单位矩阵;此时括号中的矩阵一定是可逆的。

    参考来源

    - 位置:《智能算法导论》第 171 项《1 7 . 2 最 小 二 乘 法 流 程》(源文件:`_epub-src/EPUB/xhtml/chapter17_0002.xhtml`) - 结论依据:正文把 L1 用于筛选重要特征,并引入 L2 正则项处理 AᵀA 不可逆;公式 image_492.svg 的括号/逆号位置不完整。卡片中的 L2 解析式是依据原文说明(λ 为正则参数、附加矩阵为 (n+1)×(n+1) 且首个对角元为 0、不考虑常数项时为单位阵、括号内矩阵可逆)整理的推导形式,非原书逐字公式。 - 原始内容:对于正则化的方法,常见的是L1正则项和L2正则项,L1项有助于从很多特征中筛选出重要的特征,使不重要的特征为0……如果采用L2正则项,实际上解析解就变成了如下形式