知识卡片
L1惩罚做变量筛选
变量很多时,逐步回归不稳定、计算量大,可以在负对数似然上加 L1 范数惩罚:min −ℓ(β)+λ∑|βj|,得到 L1 正则化 Logistic 回归,λ 越大惩罚越强、模型越稀疏。三个要点:惩罚项不含截距 β0,因为截距只决定基准发生比,压缩它等于强行改变基准水平;p 个变量都要标准化,否则惩罚强度随量纲变化,大尺度变量被罚得更轻、小尺度变量被罚得过重;L1 的几何性质会把部分系数精确压到 0,于是估计与变量选择同时完成。求解仍用牛顿型迭代,每步化为一个加权 Lasso 问题(迭代加权 Lasso),也可用坐标下降。实践中 λ 由交叉验证确定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
对于Logistic回归模型的变量选择问题,可以通过传统的逐步回归方法来解决,也可以根据Lasso惩罚回归的思想,在损失函数中(负的对数似然函数(3.3))对模型系数施加L1范数惩罚项,得到L1正则化Logistic回归模型
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0002.xhtml,3.2.3 正则化的Logistic回归)
- 结论依据:原文说明可在负对数似然上施加 L1 范数惩罚得到 L1 正则化 Logistic 回归,并指出惩罚项不含 β0、需对变量标准化,求解仍用牛顿迭代即迭代加权 Lasso。
- 原始内容:对于Logistic回归模型的变量选择问题,可以通过传统的逐步回归方法来解决,也可以根据Lasso惩罚回归的思想,在损失函数中(负的对数似然函数(3.3))对模型系数施加L1范数惩罚项,得到L1正则化Logistic回归模型