知识卡片
四种线性回归怎么选
scikit-learn 的 linear_model 里并排着四个”线性回归”,差别只在损失函数里加了什么惩罚项:
| 类 | 惩罚项 | 解的性质 | 什么时候用 |
|---|---|---|---|
LinearRegression |
无 | 最小二乘最优,系数可能很大 | 特征少、样本充足、特征间近似独立 |
Lasso |
L1:α‖w‖₁ | 稀疏,部分系数精确为 0 | 特征多而有效特征少,需要可解释的稀疏模型 |
Ridge |
L2:α‖w‖₂² | 全部收缩,趋近 0 但不为 0 | 特征高度相关、共线,或样本少特征多 |
ElasticNet |
L1 + L2 混合 | 稀疏且相关特征成组保留 | 特征多且相关成组,Lasso 结果不稳定时 |
四者的模型形式完全相同,都是 h(x) = wx + b;fit、predict、score、coef_、intercept_ 的用法也一致。所以切换成本极低——换模型基本只是换类名和调 alpha,这也是线性模型适合做基线的原因。
选择可以从三个问题走下来:
- 特征之间是否高度相关? 是 → 排除普通最小二乘(解会震荡),优先 Ridge;若同时特征很多、需要稀疏 → ElasticNet。
- 是否需要一个稀疏、可解释的模型? 是 → Lasso(或 ElasticNet)。
- 以上都不是? 先用
LinearRegression跑基线,再试着加正则看验证误差是否下降。加了没变好,说明正则没带来收益,保留更简单的模型。
一个常被忽略的点:正则化改变了模型的偏差-方差平衡,所以它不是”越强越好”。alpha 从 0 开始逐步增大,验证误差通常先降后升——前半段是在压方差,后半段是偏差开始占主导(欠拟合)。这条曲线上的最低点才是该选的值,而找它的工具正是交叉验证与网格搜索,见 [[交叉验证与网格搜索调参]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性回归 3.3 线性回归的scikit-learn实现 · 查看原书依据
在scikit-learn中,线性回归模型对应的是linear_model.LinearRegression类;除此之外,还有基于L1正则化的Lasso回归(Lasso Regression),基于L2正则化的线性回归(Ridge Regression)
参考来源
- 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html)
- 结论依据:原文 3.3 节开篇并列介绍 LinearRegression、Lasso(L1)、Ridge(L2)与 ElasticNet(L1+L2 融合)四类及其对应类名,后续小节分别说明各自的正则项与参数。
- 原始内容:在scikit-learn中,线性回归模型对应的是linear_model.LinearRegression类;除此之外,还有基于L1正则化的Lasso回归(Lasso Regression),基于L2正则化的线性回归(Ridge Regression)