← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9631.k · 生成模型:DeepSeek-V4.1-Flash

L1惩罚做变量筛选

理解等级:中级

变量很多时,逐步回归不稳定、计算量大,可以在负对数似然上加 L1 范数惩罚:min −ℓ(β)+λ∑|βj|,得到 L1 正则化 Logistic 回归,λ 越大惩罚越强、模型越稀疏。三个要点:惩罚项不含截距 β0,因为截距只决定基准发生比,压缩它等于强行改变基准水平;p 个变量都要标准化,否则惩罚强度随量纲变化,大尺度变量被罚得更轻、小尺度变量被罚得过重;L1 的几何性质会把部分系数精确压到 0,于是估计与变量选择同时完成。求解仍用牛顿型迭代,每步化为一个加权 Lasso 问题(迭代加权 Lasso),也可用坐标下降。实践中 λ 由交叉验证确定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性分类方法 · 查看原书依据

      对于Logistic回归模型的变量选择问题,可以通过传统的逐步回归方法来解决,也可以根据Lasso惩罚回归的思想,在损失函数中(负的对数似然函数(3.3))对模型系数施加L1范数惩罚项,得到L1正则化Logistic回归模型

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0002.xhtml,3.2.3 正则化的Logistic回归) - 结论依据:原文说明可在负对数似然上施加 L1 范数惩罚得到 L1 正则化 Logistic 回归,并指出惩罚项不含 β0、需对变量标准化,求解仍用牛顿迭代即迭代加权 Lasso。 - 原始内容:对于Logistic回归模型的变量选择问题,可以通过传统的逐步回归方法来解决,也可以根据Lasso惩罚回归的思想,在损失函数中(负的对数似然函数(3.3))对模型系数施加L1范数惩罚项,得到L1正则化Logistic回归模型