知识卡片
岭回归与套索的惩罚
思路 当输入变量高度相关或数量很多时,OLS 解出的系数方差大、数值夸张。一种办法是主动给系数上枷锁:在原残差平方和上加一项惩罚,系数越大罚得越重,最优解自然向零收缩。 两种惩罚 | 方法 | 惩罚项 | 效果 | | 岭回归 | 系数平方和 | 系数整体缩小但不为零,适合相关变量多、希望都保留一点权重的场合 | | 套索回归 | 系数绝对值之和 | 会把部分系数压到恰好为零,相当于自动挑选变量 | 代价与边界 惩罚越强,偏差越大、方差越小,强度通常靠交叉验证来选。收缩后的系数不再是无偏估计,解释时要说明这是正则化的结果;它们服务于预测精度,不能用来论证因果,也不宜直接解读为“每单位变化带来多少改变”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 高级分析理论与方法:回归 · 查看原书依据
在岭回归中,与系数平方和成比例的一个惩罚项被加在残差平方和上。而套索回归(lasso regression)是一种相关的建模技术,其中惩罚项与系数绝对值的和成比例。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第6章 高级分析理论与方法:回归(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0016_split_004.html)
- 结论依据:6.4 节说明岭回归在残差平方和上加入与系数平方和成比例的惩罚项,套索回归的惩罚项则与系数绝对值之和成比例,用于处理多重共线性下系数过大的问题。
- 原始内容:在岭回归中,与系数平方和成比例的一个惩罚项被加在残差平方和上。而套索回归(lasso regression)是一种相关的建模技术,其中惩罚项与系数绝对值的和成比例。