知识卡片
弹性网兼顾相关变量组
Lasso 有两个短板:p>n 时最多只能选出 n 个变量;自变量高度相关时它只随机保留一个,表现不如岭回归。弹性网把两种惩罚合起来:最小化 SSE+λ1Σ|βj|+λ2Σβj²,令 α=λ2/(λ1+λ2),等价于 SSE+λ[α‖β‖²+(1-α)‖β‖₁]。α∈(0,1) 时惩罚严格凸:二范数部分把相关变量成组地一起压缩,一范数部分再把整组压到 0,于是既稀疏又能成组选变量;α=0 退化为 Lasso,α=1 退化为岭回归。朴素弹性网可写成增广数据的 Lasso(x* 为 (n+p)×p),计算便宜且最多能保留全部 p 个变量,但二次惩罚带来额外偏差,需乘缩放系数 1+λ2 修正,修正后仍具 minimax 最优性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
在p>n的问题中,Lasso 最多能选出n个变量;在n>p 的问题中,如果存在高度相关的变量,岭回归会同时压缩这些变量的系数,而Lasso在做变量选择时对变量是否相关并不敏感
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0004.xhtml,2.4.3 其他罚函数)
- 结论依据:原文指出 Lasso 在 p>n 与相关变量下的局限,给出弹性网目标函数、α 的作用、增广矩阵等价形式与缩放修正。
- 原始内容:在p>n的问题中,Lasso 最多能选出n个变量;在n>p 的问题中,如果存在高度相关的变量,岭回归会同时压缩这些变量的系数,而Lasso在做变量选择时对变量是否相关并不敏感