知识卡片

普通读书笔记卡 · 9829.l · 生成模型:DeepSeek-V4.1-Flash

SVM和LR到底差在哪

理解等级:中级

两者经常被拿来对比,因为它们在”能力清单”上高度重合:都是有监督学习、都是判别模型、不加核时都是线性分类器、都能处理二分类,甚至在高维稀疏数据上表现接近。差别全在”凭什么定参数”。

维度 逻辑回归 LR 支持向量机 SVM
输出 经 Sigmoid 映射的类别概率 只有 sign 给出的类别
损失 对数损失,来自极大似然 合页损失,来自间隔最大化
用到的样本 全量训练样本都参与梯度 只有支持向量起作用
非线性 靠人工特征交叉 靠核函数隐式映射
正则 需显式指定 目标里自带 ½‖w‖²
多分类 天然可推广到 softmax 原生二分类,OvR 需 N−1 次

三个值得记住的推论:

  1. 概率 vs 决策。LR 给出”多大概率”,可以直接排序、按业务成本调阈值、做评分卡;SVM 只给”哪一边”,要概率得额外做校准(sklearn 的 probability=True)。风控这类需要”分数”的场景,这是硬差异。
  2. 谁在影响模型。LR 的每个样本都有非零梯度,改一个远处样本,参数会微动;SVM 里远离边界的点系数为 0,改它们模型不变。因此 SVM 对靠近边界的点极敏感、对远处的点免疫——这也解释了为什么 SVM 在小样本、边界清晰的场景常有优势。
  3. 为什么 LR 一般不用核。核技巧的代价是必须计算样本两两的核值,而 LR 的训练要用全量样本反复迭代,核矩阵的开销无法承受;SVM 的对偶形式天然只需要支持向量之间的内积,所以能用。

书中对 SVM 的评价是:优化目标是结构风险最小而非经验风险最小,因此在小样本上往往优于其他算法,自带正则也更不易过拟合;代价是多分类要靠一对多拼、C 与 gamma 只能靠网格搜索或经验确定。

选择上可以简化成一句:要概率和可解释的权重就用 LR,样本少、维度高、边界清楚就用 SVM,两者都别忘了处理类别不平衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文从构造原理、使用的样本范围、核函数、正则项四方面逐条比较 SVM 与 LR,并指出 LR 因需全量样本而很少使用核函数。 - 原始内容:构造原理不同: LR模型使用Sigmoid来映射出属于某一类别的概率,然后构造log损失,通过极大似然估计来求解模型参数的值;而SVM模型使用函数间隔最大化来寻找最优超平面,对应的是Hinge损失。