知识卡片
分对且够远才不罚
软间隔 SVM 是从”几何 + 约束”推出来的,但同一个模型还能从损失函数的角度写出来:
min Σ_i max(0, 1−y_i(w·x_i+b)) + λ‖w‖²
第一项叫合页损失(Hinge Loss),第二项是 L2 正则。它的形状像一扇合页,只有两段:
- 当 y_i(w·x_i+b) ≥ 1,即分对且离边界至少 1 个单位时,损失 = 0,梯度也为 0,该点彻底停止影响模型;
- 当 y_i(w·x_i+b) < 1,损失 = 1−y_i(w·x_i+b),随”离边界的欠账”线性增长,即便分类已经正确也照罚。
“分对还不够,要分得够远”这一点正是它与 0-1 损失的分水岭:
| 损失 | 已分对但贴近边界 | 形状 | 优化难度 |
|---|---|---|---|
| 0-1 损失 | 罚 0 | 阶跃、不连续 | 不可导,NP 难 |
| 合页损失 | 仍线性惩罚 | 凸、分段线性 | 可用梯度类方法 |
| 对数损失(LR) | 仍平滑惩罚 | 凸、光滑 | 可用梯度类方法 |
合页损失是 0-1 损失的一条凸上界:处处不低于 0-1 损失,且在最该罚的地方罚得最狠,所以最小化它相当于在优化一个”可算的替身”。
它与软间隔原始问题的等价性只需一步代换:令 ξ_i=max(0, 1−y_i(w·x_i+b)),则 ξ_i≥0 自动成立,并且 y_i(w·x_i+b)≥1−ξ_i 恒成立;再取与 C 对应的 λ,就回到了 min ½‖w‖²+CΣξ_i。这条等价关系说明:SVM 的正则化不是额外加上去的技巧,而是间隔最大化的另一种说法。
同一套损失视角还能解释 SVM 与 LR 的差别:合页损失在间隔外严格为 0,只有少数点贡献梯度,所以解稀疏;对数损失永不为 0,所有点都在拉模型,所以 LR 用全量样本。详见 [[SVM和LR到底差在哪]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.4 合页损失函数 · 查看原书依据
当样本点(xi ,yi )被正确分类且函数间隔yi (w∙xi +b)大于1时,损失是0
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文给出"合页损失 + 正则项"的目标函数、说明其取 0 的条件,并通过令 ξ 等于合页损失值证明与软间隔原始问题等价。
- 原始内容:当样本点(xi ,yi )被正确分类且函数间隔yi (w∙xi +b)大于1时,损失是0;否则损失是1−yi (w∙xi +b)……即软间隔支持向量机模型的原始最优化问题等价于最小化合页损失,从损失函数的角度证明了线性SVM模型的合理性。