知识卡片

普通读书笔记卡 · 9824.i · 生成模型:DeepSeek-V4.1-Flash

四种线性回归怎么选

理解等级:中级

scikit-learn 的 linear_model 里并排着四个”线性回归”,差别只在损失函数里加了什么惩罚项:

类 惩罚项 解的性质 什么时候用
LinearRegression 无 最小二乘最优,系数可能很大 特征少、样本充足、特征间近似独立
Lasso L1:α‖w‖₁ 稀疏,部分系数精确为 0 特征多而有效特征少,需要可解释的稀疏模型
Ridge L2:α‖w‖₂² 全部收缩,趋近 0 但不为 0 特征高度相关、共线,或样本少特征多
ElasticNet L1 + L2 混合 稀疏且相关特征成组保留 特征多且相关成组,Lasso 结果不稳定时

四者的模型形式完全相同,都是 h(x) = wx + b;fit、predict、score、coef_、intercept_ 的用法也一致。所以切换成本极低——换模型基本只是换类名和调 alpha,这也是线性模型适合做基线的原因。

选择可以从三个问题走下来:

  1. 特征之间是否高度相关? 是 → 排除普通最小二乘(解会震荡),优先 Ridge;若同时特征很多、需要稀疏 → ElasticNet。
  2. 是否需要一个稀疏、可解释的模型? 是 → Lasso(或 ElasticNet)。
  3. 以上都不是? 先用 LinearRegression 跑基线,再试着加正则看验证误差是否下降。加了没变好,说明正则没带来收益,保留更简单的模型。

一个常被忽略的点:正则化改变了模型的偏差-方差平衡,所以它不是”越强越好”。alpha 从 0 开始逐步增大,验证误差通常先降后升——前半段是在压方差,后半段是偏差开始占主导(欠拟合)。这条曲线上的最低点才是该选的值,而找它的工具正是交叉验证与网格搜索,见 [[交叉验证与网格搜索调参]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.3 节开篇并列介绍 LinearRegression、Lasso(L1)、Ridge(L2)与 ElasticNet(L1+L2 融合)四类及其对应类名,后续小节分别说明各自的正则项与参数。 - 原始内容:在scikit-learn中,线性回归模型对应的是linear_model.LinearRegression类;除此之外,还有基于L1正则化的Lasso回归(Lasso Regression),基于L2正则化的线性回归(Ridge Regression)