知识卡片

普通读书笔记卡 · 9829.e · 生成模型:DeepSeek-V4.1-Flash

只有边界上的点决定超平面

理解等级:高级

硬间隔 SVM 解出来以后,w* 是全体样本的加权和:w*=Σα_i y_i x_i。看上去每个样本都参与了,但 KKT 条件把它砍到只剩一小撮。

KKT 里最关键的一条是对偶互补条件:

 α_i·[y_i(w·x_i+b)−1]=0

它说两个因子至少有一个为零,于是只有两种可能:

情形 几何位置 对 w 的贡献
α_i=0 点在间隔之外(分对且离得远) 无,系数为 0
α_i>0 只能落在边界 y_i(w·x_i+b)=1 上 有,构成 w*

所以真正决定超平面的,只有那些恰好压在两条边界超平面上的点,它们叫支持向量。剩下的点无论怎么移动(只要不越过边界),模型一动不动。

这带来三个实用推论:

  1. 稀疏性。模型只需存支持向量,预测时只算新样本与支持向量的内积,成本随支持向量数而非训练集规模增长。
  2. b 的求法。对任一支持向量 (x_s,y_s),由 y_s(w·x_s+b)=1 得 b=y_s−w·x_s。原文建议对全部 S 个支持向量各算一个 b_s 再取平均,避免个别噪声点把 b 拉偏——这是一种低成本的鲁棒化处理。
  3. 对噪声敏感的另一面。正因为只有边界上的点说话,一个越界很深的异常点一旦成为支持向量,就会明显拉动超平面。这也是软间隔要限制 α_i≤C 的原因。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文由 KKT 对偶互补条件推出 α_i>0 时点必在临界超平面上,进而得出 w* 只依赖这些点,并用全部支持向量求 b 的平均值。 - 原始内容:特别需要注意最后一项,被称为KKT的对偶互补条件……所以,当αi >0时,对于线性可分SVM, w∗ 只依赖于在临界边界yi (w · xi +b)=1上的点,与其他点无关。