知识卡片
只有边界上的点决定超平面
硬间隔 SVM 解出来以后,w* 是全体样本的加权和:w*=Σα_i y_i x_i。看上去每个样本都参与了,但 KKT 条件把它砍到只剩一小撮。
KKT 里最关键的一条是对偶互补条件:
α_i·[y_i(w·x_i+b)−1]=0
它说两个因子至少有一个为零,于是只有两种可能:
| 情形 | 几何位置 | 对 w 的贡献 |
|---|---|---|
| α_i=0 | 点在间隔之外(分对且离得远) | 无,系数为 0 |
| α_i>0 | 只能落在边界 y_i(w·x_i+b)=1 上 | 有,构成 w* |
所以真正决定超平面的,只有那些恰好压在两条边界超平面上的点,它们叫支持向量。剩下的点无论怎么移动(只要不越过边界),模型一动不动。
这带来三个实用推论:
- 稀疏性。模型只需存支持向量,预测时只算新样本与支持向量的内积,成本随支持向量数而非训练集规模增长。
- b 的求法。对任一支持向量 (x_s,y_s),由 y_s(w·x_s+b)=1 得 b=y_s−w·x_s。原文建议对全部 S 个支持向量各算一个 b_s 再取平均,避免个别噪声点把 b 拉偏——这是一种低成本的鲁棒化处理。
- 对噪声敏感的另一面。正因为只有边界上的点说话,一个越界很深的异常点一旦成为支持向量,就会明显拉动超平面。这也是软间隔要限制 α_i≤C 的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
w∗ 只依赖于在临界边界yi (w · xi +b)=1上的点,与其他点无关
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文由 KKT 对偶互补条件推出 α_i>0 时点必在临界超平面上,进而得出 w* 只依赖这些点,并用全部支持向量求 b 的平均值。
- 原始内容:特别需要注意最后一项,被称为KKT的对偶互补条件……所以,当αi >0时,对于线性可分SVM, w∗ 只依赖于在临界边界yi (w · xi +b)=1上的点,与其他点无关。