知识卡片
Logistic的适用边界
名字叫”回归”,干的是分类。判断该不该用它,看四条优势与两条硬伤。
优势
- 直接建模后验概率,不假设特征服从某种分布(不像朴素贝叶斯要求条件独立)。省掉了分布假设这一层风险。
- 输出概率而不只是标签。排序、定价、风控这类需要”多大把握”的任务,概率比硬分类有用得多——可以直接算期望收益,也可以按业务调阈值。
- 损失是凸函数,任意阶可导,梯度下降能稳定收敛到全局最优,不会卡在局部极小(理由见 [[为什么不用平方损失]])。
- 稀疏高维友好。特征是百万级稀疏 one-hot(广告点击率预估的典型形态)时,每个样本只激活少数几维,训练与预测都很轻,配合 L1 还能筛特征。
硬伤
- 本质是线性分类器。决策边界是超平面,异或型、环形分布这类问题必须靠人工特征(交叉项、分箱、GBDT 叶子编码)先把数据”掰”成线性可分。这是它最大的限制——效果好往往靠特征工程,不靠模型本身。
- 对样本分布敏感。正例太少时权重估计方差大、预测偏向多数类,需要加权或重采样(见 [[类别不平衡的权重修正]])。
与其他模型的关系:它是”线性可解释 + 概率输出”这条路线上的基准线,工程上常作为上线前的第一个基线模型——训练快、可解释、出问题好排查。若效果不够,再考虑 [[CART为何用二叉树反复切分]] 那类树模型捕捉非线性与交互,或用集成方法。
选型时的一个实用判断:先问”业务需不需要概率、需不需要解释单个特征的影响”。两个都要,Logistic 回归往往仍是首选;只要精度且特征交互复杂,再换非线性模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
Logistic回归模型对一般的分类问题都可使用,特别是对稀疏高维特征的处理没有太大压力,这在处理类似广告点击率预测问题很有优势。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文 7.6 节列出四条优点(直接对分类可能性建模、可输出概率、对数损失为凸函数、稀疏高维有优势)与两条缺点(本质线性、对正负样本分布敏感),并对比线性回归的任务与损失差异。
- 原始内容:Logistic回归模型对一般的分类问题都可使用,特别是对稀疏高维特征的处理没有太大压力,这在处理类似广告点击率预测问题很有优势。