← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9630.j · 生成模型:DeepSeek-V4.1-Flash

岭回归用偏差换方差

理解等级:高级

当 XᵀX 接近奇异时,岭回归给它加一个正常数对角阵 kI(k>0),得到 β̂(k)=(XᵀX+kI)⁻¹XᵀY,k 为岭参数,作用是把系数整体往原点拉。代价是有偏:E[β̂(k)]≠β;收益是方差大幅下降。因为均方误差 MSE=偏差²+方差,存在 k>0 使岭估计的 MSE 小于最小二乘,且 |β̂(k)| 小于 |β̂|,所以称压缩估计。它等价于在 SSE 上加罚 k‖β‖²(L2 惩罚),约束形式为 ‖β‖²≤t,k 与 t 一一对应,k=0 即退回最小二乘,因此岭估计是一族估计而非一个。惩罚只加在斜率上,截距 β0 可通过数据中心化消除。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性回归方法 · 查看原书依据

      首先,岭估计是有偏估计,但存在k>0使得岭回归的均方误差小于最小二乘估计的均方误差。因为均方误差等于偏差的平方加上方差,所以岭估计的方差小于最小二乘估计的方差。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.1 岭回归) - 结论依据:原文给出岭估计的构造、有偏性与 MSE 更小的结论、压缩性质,以及损失加罚与约束的等价写法。 - 原始内容:首先,岭估计是有偏估计,但存在k>0使得岭回归的均方误差小于最小二乘估计的均方误差。因为均方误差等于偏差的平方加上方差,所以岭估计的方差小于最小二乘估计的方差。