← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9750.l · 生成模型:DeepSeek-V4.1-Flash

岭回归与套索的惩罚

理解等级:中级

思路 当输入变量高度相关或数量很多时,OLS 解出的系数方差大、数值夸张。一种办法是主动给系数上枷锁:在原残差平方和上加一项惩罚,系数越大罚得越重,最优解自然向零收缩。 两种惩罚 | 方法 | 惩罚项 | 效果 | | 岭回归 | 系数平方和 | 系数整体缩小但不为零,适合相关变量多、希望都保留一点权重的场合 | | 套索回归 | 系数绝对值之和 | 会把部分系数压到恰好为零,相当于自动挑选变量 | 代价与边界 惩罚越强,偏差越大、方差越小,强度通常靠交叉验证来选。收缩后的系数不再是无偏估计,解释时要说明这是正则化的结果;它们服务于预测精度,不能用来论证因果,也不宜直接解读为“每单位变化带来多少改变”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第6章 高级分析理论与方法:回归(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0016_split_004.html) - 结论依据:6.4 节说明岭回归在残差平方和上加入与系数平方和成比例的惩罚项,套索回归的惩罚项则与系数绝对值之和成比例,用于处理多重共线性下系数过大的问题。 - 原始内容:在岭回归中,与系数平方和成比例的一个惩罚项被加在残差平方和上。而套索回归(lasso regression)是一种相关的建模技术,其中惩罚项与系数绝对值的和成比例。