知识卡片
ElasticNet 混合正则
ElasticNet(弹性网络)把 L1 与 L2 两项同时加进损失,用一个比例参数控制二者的配比:
min L(w, b) + α[ ρ‖w‖₁ + (1 − ρ)/2 · ‖w‖₂² ]
l1_ratio 就是上式中的 ρ,默认 0.5,即两者各占一半;ρ = 1 退化成 Lasso,ρ = 0 退化成岭回归。
它存在的理由是两个纯方案各有一个明显短板:
- Lasso 的短板:特征高度相关、成组出现时,L1 会随机地只留下组里的一个、把其余置零。结果不稳定——换一份训练数据,留下的可能是另一个,模型难以解释,也丢掉了”这组特征共同起作用”的信息。
- 岭回归的短板:只收缩不置零,特征多时模型仍然庞大,没有稀疏性可言。
ElasticNet 的组合恰好补上这两点:L2 项让相关特征倾向于”一起被保留、系数一起缩小”(成组效应),L1 项继续提供稀疏性。所以当特征多、且特征之间存在明显相关性时,ElasticNet 往往比单独用 Lasso 更稳。
参数按职责分成三组:
| 组别 | 参数 | 说明 |
|---|---|---|
| 正则强度与配比 | alpha、l1_ratio |
alpha 控制整体惩罚力度,l1_ratio 控制 L1 占比 |
| 拟合细节 | fit_intercept、normalize、precompute |
是否算偏置、是否先归一化、是否预算 Gram 矩阵 |
| 迭代控制 | max_iter、tol、warm_start、positive、selection |
迭代上限、收敛阈值、是否续训、是否强制正系数、系数更新顺序 |
属性仍是 coef_、intercept_、n_iter_,方法仍是 fit/score/predict,与 Lasso、Ridge 完全一致——这也意味着三者可以直接互换做对比实验,只改类名与参数。
调参的实用顺序是:先用 Ridge 与 Lasso 各跑一遍拿到误差基线,再在 ElasticNet 上扫 l1_ratio(如 0.1~0.9)看是否能再降一点验证误差。若两者差距不大,选更简单的那个。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性回归 3.3.4 ElasticNet回归 · 查看原书依据
ElasticNet回归(弹性网络回归)是将L1和L2正则化进行融合,即在基本的线性回归中加入下面的混合正则化项:
参考来源
- 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html)
- 结论依据:原文 3.3.4 节说明 ElasticNet 是把 L1 与 L2 正则化融合、在基本线性回归中加入混合正则化项,并指出 l1_ratio 即式中的 ρ、默认 0.5,同时列出该类的参数、属性与方法。
- 原始内容:ElasticNet回归(弹性网络回归)是将L1和L2正则化进行融合,即在基本的线性回归中加入下面的混合正则化项:……l1_ratio参数就是上式中的ρ值,默认为0.5。