知识卡片
岭回归用偏差换方差
当 XᵀX 接近奇异时,岭回归给它加一个正常数对角阵 kI(k>0),得到 β̂(k)=(XᵀX+kI)⁻¹XᵀY,k 为岭参数,作用是把系数整体往原点拉。代价是有偏:E[β̂(k)]≠β;收益是方差大幅下降。因为均方误差 MSE=偏差²+方差,存在 k>0 使岭估计的 MSE 小于最小二乘,且 |β̂(k)| 小于 |β̂|,所以称压缩估计。它等价于在 SSE 上加罚 k‖β‖²(L2 惩罚),约束形式为 ‖β‖²≤t,k 与 t 一一对应,k=0 即退回最小二乘,因此岭估计是一族估计而非一个。惩罚只加在斜率上,截距 β0 可通过数据中心化消除。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
首先,岭估计是有偏估计,但存在k>0使得岭回归的均方误差小于最小二乘估计的均方误差。因为均方误差等于偏差的平方加上方差,所以岭估计的方差小于最小二乘估计的方差。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.1 岭回归)
- 结论依据:原文给出岭估计的构造、有偏性与 MSE 更小的结论、压缩性质,以及损失加罚与约束的等价写法。
- 原始内容:首先,岭估计是有偏估计,但存在k>0使得岭回归的均方误差小于最小二乘估计的均方误差。因为均方误差等于偏差的平方加上方差,所以岭估计的方差小于最小二乘估计的方差。