← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9828.j · 生成模型:DeepSeek-V4.1-Flash

Logistic的适用边界

理解等级:初级

名字叫”回归”,干的是分类。判断该不该用它,看四条优势与两条硬伤。

优势

  1. 直接建模后验概率,不假设特征服从某种分布(不像朴素贝叶斯要求条件独立)。省掉了分布假设这一层风险。
  2. 输出概率而不只是标签。排序、定价、风控这类需要”多大把握”的任务,概率比硬分类有用得多——可以直接算期望收益,也可以按业务调阈值。
  3. 损失是凸函数,任意阶可导,梯度下降能稳定收敛到全局最优,不会卡在局部极小(理由见 [[为什么不用平方损失]])。
  4. 稀疏高维友好。特征是百万级稀疏 one-hot(广告点击率预估的典型形态)时,每个样本只激活少数几维,训练与预测都很轻,配合 L1 还能筛特征。

硬伤

  1. 本质是线性分类器。决策边界是超平面,异或型、环形分布这类问题必须靠人工特征(交叉项、分箱、GBDT 叶子编码)先把数据”掰”成线性可分。这是它最大的限制——效果好往往靠特征工程,不靠模型本身。
  2. 对样本分布敏感。正例太少时权重估计方差大、预测偏向多数类,需要加权或重采样(见 [[类别不平衡的权重修正]])。

与其他模型的关系:它是”线性可解释 + 概率输出”这条路线上的基准线,工程上常作为上线前的第一个基线模型——训练快、可解释、出问题好排查。若效果不够,再考虑 [[CART为何用二叉树反复切分]] 那类树模型捕捉非线性与交互,或用集成方法。

选型时的一个实用判断:先问”业务需不需要概率、需不需要解释单个特征的影响”。两个都要,Logistic 回归往往仍是首选;只要精度且特征交互复杂,再换非线性模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文 7.6 节列出四条优点(直接对分类可能性建模、可输出概率、对数损失为凸函数、稀疏高维有优势)与两条缺点(本质线性、对正负样本分布敏感),并对比线性回归的任务与损失差异。 - 原始内容:Logistic回归模型对一般的分类问题都可使用,特别是对稀疏高维特征的处理没有太大压力,这在处理类似广告点击率预测问题很有优势。