知识卡片
几何图看懂岭回归与Lasso
p=2 时可以把问题画在 (β1,β2) 平面上:椭圆是残差平方和的等值线,越往外 SSE 越大,中心是无约束最小二乘解。岭回归的约束是圆 β1²+β2²≤t,Lasso 的约束是正方形 |β1|+|β2|≤t,带约束的解是椭圆与约束区域边界的切点。圆是光滑的,切点一般不在坐标轴上,两个系数都不为 0,所以岭回归只压缩不选择;正方形有顶点落在坐标轴上,椭圆很容易切在顶点,于是一个系数恰为 0,实现变量选择。维数升高后约束区域变成高维球与高维立方体,立方体顶点更多,Lasso 更容易切出零系数。当 t→∞(k 或 λ→0)时约束失效,两者都退回最小二乘。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
对于图2—4(a)(Lasso 回归),与岭回归不同的是,对估计值参数空间的约束 不是圆形,而是正方形。这样,很多时候,椭圆曲线和正方形的约束区域会相切在坐标轴上。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.3 一张图看懂岭回归和Lasso回归)
- 结论依据:原文以图 2—4 解释两种约束区域的形状差异,并指出切点位置决定是否产生零系数、维数越高越明显。
- 原始内容:对于图2—4(a)(Lasso 回归),与岭回归不同的是,对估计值参数空间的约束 不是圆形,而是正方形。这样,很多时候,椭圆曲线和正方形的约束区域会相切在坐标轴上。