知识卡片

操作参考卡 · 9824.h · 生成模型:DeepSeek-V4.1-Flash

ElasticNet 混合正则

理解等级:中级

ElasticNet(弹性网络)把 L1 与 L2 两项同时加进损失,用一个比例参数控制二者的配比:

min L(w, b) + α[ ρ‖w‖₁ + (1 − ρ)/2 · ‖w‖₂² ]

l1_ratio 就是上式中的 ρ,默认 0.5,即两者各占一半;ρ = 1 退化成 Lasso,ρ = 0 退化成岭回归。

它存在的理由是两个纯方案各有一个明显短板:

  • Lasso 的短板:特征高度相关、成组出现时,L1 会随机地只留下组里的一个、把其余置零。结果不稳定——换一份训练数据,留下的可能是另一个,模型难以解释,也丢掉了”这组特征共同起作用”的信息。
  • 岭回归的短板:只收缩不置零,特征多时模型仍然庞大,没有稀疏性可言。

ElasticNet 的组合恰好补上这两点:L2 项让相关特征倾向于”一起被保留、系数一起缩小”(成组效应),L1 项继续提供稀疏性。所以当特征多、且特征之间存在明显相关性时,ElasticNet 往往比单独用 Lasso 更稳。

参数按职责分成三组:

组别 参数 说明
正则强度与配比 alpha、l1_ratio alpha 控制整体惩罚力度,l1_ratio 控制 L1 占比
拟合细节 fit_intercept、normalize、precompute 是否算偏置、是否先归一化、是否预算 Gram 矩阵
迭代控制 max_iter、tol、warm_start、positive、selection 迭代上限、收敛阈值、是否续训、是否强制正系数、系数更新顺序

属性仍是 coef_、intercept_、n_iter_,方法仍是 fit/score/predict,与 Lasso、Ridge 完全一致——这也意味着三者可以直接互换做对比实验,只改类名与参数。

调参的实用顺序是:先用 Ridge 与 Lasso 各跑一遍拿到误差基线,再在 ElasticNet 上扫 l1_ratio(如 0.1~0.9)看是否能再降一点验证误差。若两者差距不大,选更简单的那个。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.3.4 节说明 ElasticNet 是把 L1 与 L2 正则化融合、在基本线性回归中加入混合正则化项,并指出 l1_ratio 即式中的 ρ、默认 0.5,同时列出该类的参数、属性与方法。 - 原始内容:ElasticNet回归(弹性网络回归)是将L1和L2正则化进行融合,即在基本的线性回归中加入下面的混合正则化项:……l1_ratio参数就是上式中的ρ值,默认为0.5。