知识卡片
SVM和LR到底差在哪
两者经常被拿来对比,因为它们在”能力清单”上高度重合:都是有监督学习、都是判别模型、不加核时都是线性分类器、都能处理二分类,甚至在高维稀疏数据上表现接近。差别全在”凭什么定参数”。
| 维度 | 逻辑回归 LR | 支持向量机 SVM |
|---|---|---|
| 输出 | 经 Sigmoid 映射的类别概率 | 只有 sign 给出的类别 |
| 损失 | 对数损失,来自极大似然 | 合页损失,来自间隔最大化 |
| 用到的样本 | 全量训练样本都参与梯度 | 只有支持向量起作用 |
| 非线性 | 靠人工特征交叉 | 靠核函数隐式映射 |
| 正则 | 需显式指定 | 目标里自带 ½‖w‖² |
| 多分类 | 天然可推广到 softmax | 原生二分类,OvR 需 N−1 次 |
三个值得记住的推论:
- 概率 vs 决策。LR 给出”多大概率”,可以直接排序、按业务成本调阈值、做评分卡;SVM 只给”哪一边”,要概率得额外做校准(sklearn 的
probability=True)。风控这类需要”分数”的场景,这是硬差异。 - 谁在影响模型。LR 的每个样本都有非零梯度,改一个远处样本,参数会微动;SVM 里远离边界的点系数为 0,改它们模型不变。因此 SVM 对靠近边界的点极敏感、对远处的点免疫——这也解释了为什么 SVM 在小样本、边界清晰的场景常有优势。
- 为什么 LR 一般不用核。核技巧的代价是必须计算样本两两的核值,而 LR 的训练要用全量样本反复迭代,核矩阵的开销无法承受;SVM 的对偶形式天然只需要支持向量之间的内积,所以能用。
书中对 SVM 的评价是:优化目标是结构风险最小而非经验风险最小,因此在小样本上往往优于其他算法,自带正则也更不易过拟合;代价是多分类要靠一对多拼、C 与 gamma 只能靠网格搜索或经验确定。
选择上可以简化成一句:要概率和可解释的权重就用 LR,样本少、维度高、边界清楚就用 SVM,两者都别忘了处理类别不平衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.8 小结 · 查看原书依据
LR模型使用Sigmoid来映射出属于某一类别的概率
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文从构造原理、使用的样本范围、核函数、正则项四方面逐条比较 SVM 与 LR,并指出 LR 因需全量样本而很少使用核函数。
- 原始内容:构造原理不同: LR模型使用Sigmoid来映射出属于某一类别的概率,然后构造log损失,通过极大似然估计来求解模型参数的值;而SVM模型使用函数间隔最大化来寻找最优超平面,对应的是Hinge损失。