知识卡片

操作参考卡 · 9824.f · 生成模型:DeepSeek-V4.1-Flash

Lasso 回归做特征选择

理解等级:中级

Lasso 回归就是在普通线性回归的损失上加一个 L1 正则化项:

min L(w, b) + α‖w‖₁,α ≥ 0

‖w‖₁ = Σ|wⱼ| 是权重绝对值之和。第 2 章已经说明过 L1 的机制:更新时多出一项与 sign(wⱼ) 成正比的推力,把每个权重往 0 拽,且可能恰好停在 0(见 [[正则化:L1 稀疏 L2 衰减]])。一旦某个 wⱼ = 0,对应特征就彻底退出模型——这就是 Lasso 的特征变量选择效果。

这个效果在实践中有两层价值:

  • 特征成百上千、真正有用的只有几十个时,Lasso 直接给出一个稀疏解,模型可解释,预测时也不用算那些被置零的特征。
  • 它把”选特征”和”拟合”合成一步,不必先做一遍筛选再训练,避免了两次切分数据带来的偏差。

代价是 L1 在 0 点不可导,没有闭式解,必须迭代求解,因此类里提供了 max_iter(默认 1000)与 tol(默认 0.0001)来控制迭代何时停。n_iter_ 可回看实际迭代了多少轮;若它顶到 max_iter,说明还没收敛,应该调大上限或放宽 tol。

关键参数:

参数 作用
alpha L1 项的调节因子,越大惩罚越重、被置零的权重越多、模型越稀疏
fit_intercept / normalize 是否算偏置、是否先归一化,含义同普通线性回归
precompute 是否预先计算 Gram 矩阵加速,特征维度不算高时可开
positive 设为 True 时强制所有系数为正,适用于”特征与结果必然同向”的业务先验
selection 每轮选哪个系数更新:cycle 依次、random 随机,后者在部分数据上收敛更快
warm_start 是否接着上次结果继续训练,适合在 alpha 网格上逐步调参时复用

调 alpha 时有个直观的判断办法:从大到小扫一遍,观察 coef_ 中非零元素的个数。alpha 很大时模型几乎全零(只剩偏置),随 alpha 减小非零项逐个冒出来,冒出来的顺序就是特征的”重要程度排序”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.3.2 节说明 Lasso 是在基本线性回归上加 L1 正则化项、L1 的主要作用是把权重压向 0 从而实现特征变量选择,并列出 alpha、max_iter、tol、positive、selection 等参数与 n_iter_ 属性。 - 原始内容:Lasso回归就是在基本的线性回归的基础上加上一个L1正则化项。前面讲过,L1正则化的主要作用是使各个特征的权重……尽量接近0,从而在某种程度上达到一种特征变量选择的效果。