知识卡片

普通读书笔记卡 · 9630.m · 生成模型:DeepSeek-V4.1-Flash

几何图看懂岭回归与Lasso

理解等级:高级

p=2 时可以把问题画在 (β1,β2) 平面上:椭圆是残差平方和的等值线,越往外 SSE 越大,中心是无约束最小二乘解。岭回归的约束是圆 β1²+β2²≤t,Lasso 的约束是正方形 |β1|+|β2|≤t,带约束的解是椭圆与约束区域边界的切点。圆是光滑的,切点一般不在坐标轴上,两个系数都不为 0,所以岭回归只压缩不选择;正方形有顶点落在坐标轴上,椭圆很容易切在顶点,于是一个系数恰为 0,实现变量选择。维数升高后约束区域变成高维球与高维立方体,立方体顶点更多,Lasso 更容易切出零系数。当 t→∞(k 或 λ→0)时约束失效,两者都退回最小二乘。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性回归方法 · 查看原书依据

      对于图2—4(a)(Lasso 回归),与岭回归不同的是,对估计值参数空间的约束 不是圆形,而是正方形。这样,很多时候,椭圆曲线和正方形的约束区域会相切在坐标轴上。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.3 一张图看懂岭回归和Lasso回归) - 结论依据:原文以图 2—4 解释两种约束区域的形状差异,并指出切点位置决定是否产生零系数、维数越高越明显。 - 原始内容:对于图2—4(a)(Lasso 回归),与岭回归不同的是,对估计值参数空间的约束 不是圆形,而是正方形。这样,很多时候,椭圆曲线和正方形的约束区域会相切在坐标轴上。