知识卡片

普通读书笔记卡 · 9829.g · 生成模型:DeepSeek-V4.1-Flash

分对且够远才不罚

理解等级:中级

软间隔 SVM 是从”几何 + 约束”推出来的,但同一个模型还能从损失函数的角度写出来:

 min Σ_i max(0, 1−y_i(w·x_i+b)) + λ‖w‖²

第一项叫合页损失(Hinge Loss),第二项是 L2 正则。它的形状像一扇合页,只有两段:

  • 当 y_i(w·x_i+b) ≥ 1,即分对且离边界至少 1 个单位时,损失 = 0,梯度也为 0,该点彻底停止影响模型;
  • 当 y_i(w·x_i+b) < 1,损失 = 1−y_i(w·x_i+b),随”离边界的欠账”线性增长,即便分类已经正确也照罚。

“分对还不够,要分得够远”这一点正是它与 0-1 损失的分水岭:

损失 已分对但贴近边界 形状 优化难度
0-1 损失 罚 0 阶跃、不连续 不可导,NP 难
合页损失 仍线性惩罚 凸、分段线性 可用梯度类方法
对数损失(LR) 仍平滑惩罚 凸、光滑 可用梯度类方法

合页损失是 0-1 损失的一条凸上界:处处不低于 0-1 损失,且在最该罚的地方罚得最狠,所以最小化它相当于在优化一个”可算的替身”。

它与软间隔原始问题的等价性只需一步代换:令 ξ_i=max(0, 1−y_i(w·x_i+b)),则 ξ_i≥0 自动成立,并且 y_i(w·x_i+b)≥1−ξ_i 恒成立;再取与 C 对应的 λ,就回到了 min ½‖w‖²+CΣξ_i。这条等价关系说明:SVM 的正则化不是额外加上去的技巧,而是间隔最大化的另一种说法。

同一套损失视角还能解释 SVM 与 LR 的差别:合页损失在间隔外严格为 0,只有少数点贡献梯度,所以解稀疏;对数损失永不为 0,所有点都在拉模型,所以 LR 用全量样本。详见 [[SVM和LR到底差在哪]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文给出"合页损失 + 正则项"的目标函数、说明其取 0 的条件,并通过令 ξ 等于合页损失值证明与软间隔原始问题等价。 - 原始内容:当样本点(xi ,yi )被正确分类且函数间隔yi (w∙xi +b)大于1时,损失是0;否则损失是1−yi (w∙xi +b)……即软间隔支持向量机模型的原始最优化问题等价于最小化合页损失,从损失函数的角度证明了线性SVM模型的合理性。