知识卡片

普通读书笔记卡 · 9630.l · 生成模型:DeepSeek-V4.1-Flash

Lasso的L1惩罚自动选变量

理解等级:中级

Lasso 把岭回归的 L2 惩罚换成 L1 惩罚:最小化 SSE+λΣ|βj|,等价于约束 Σ|βj|≤t,λ 与 t 一一对应。L1 约束的尖角使解可以恰好落在坐标轴上,不重要的变量系数被压成 0,于是一次完成压缩(shrinkage)与选择(selection),这正是 Least Absolute Shrinkage and Selection Operator 中两个 s 的含义。代价是目标函数在 0 点不可微,没有显式解析解,需要数值算法(最小角回归、坐标下降等)。它继承了岭回归“用偏差换方差”的逻辑,又额外获得稀疏性,因此特别适合高维自变量的筛选。范数是向量长度的推广,L1 范数为各分量绝对值之和,L2 范数为平方和开根。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性回归方法 · 查看原书依据

      与岭回归很重要的不同是,它在参数估计的同时既可以对估计值进行压缩,又可以让一些不重要的变量的估计值恰好为零,从而起到自动进行变量选择的功能。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.2 Lasso回归) - 结论依据:原文说明 Lasso 与岭回归的关键差别、缩写含义、L1 与 L2 范数定义,以及无解析解的后果。 - 原始内容:与岭回归很重要的不同是,它在参数估计的同时既可以对估计值进行压缩,又可以让一些不重要的变量的估计值恰好为零,从而起到自动进行变量选择的功能。