知识卡片
把最近点的间隔推到最大
感知机只要求”分对”,能分的超平面有无穷多个;SVM 追加一条要求:离超平面最近的那个点,也要离得足够远。于是无数个可行解里只剩一个”最居中”的解。
要先分清两个量,它们只差一个 ‖w‖:
| 名称 | 定义 | 性质 |
|---|---|---|
| 函数间隔 | ŷ_i = y_i(w·x_i+b) | 分对时为正;同时放大 w、b 会等比例变大,不是真正的距离 |
| 几何间隔 | γ_i = y_i(w·x_i+b)/‖w‖ | 真正的欧氏距离,缩放 w、b 不变 |
把数据集里最小的几何间隔取出来,记为 γ=min_i γ_i,它就是”整个数据集到超平面的间隔”。SVM 的目标是 max γ,约束是所有点都被正确分开(即 γ_i≥γ)。
关键一步是消掉尺度自由度:w 和 b 同乘一个正数,超平面不动、几何间隔也不动,所以可以强行规定最近的点的函数间隔等于 1(原文:取 γ̂=1)。此时 γ=1/‖w‖,最大化 γ 就等价于最小化 ‖w‖,习惯上写成带平方的凸形式:
min ½‖w‖² s.t. y_i(w·x_i+b)≥1, i=1,…,M
为什么写成 ½‖w‖² 而不是 ‖w‖:平方后目标函数可微、是严格凸二次函数,约束是线性的,整个问题成为凸二次规划,有唯一全局最优解,也才能顺利推导对偶。这是”最小化范数 = 最大化间隔”这一等价关系的全部意义——它把一个几何愿望翻译成了一个标准优化问题。
代价:约束 y_i(w·x_i+b)≥1 要求严格线性可分,一个噪声点就能让问题无解,这直接催生了 [[给每个点一条可伸缩的边界]]。
结构图:
flowchart LR
A[点到超平面的距离] --> B[除以 ‖w‖ 得几何间隔]
B --> C[取全体最小值得数据集间隔 γ]
C --> D[最大化 γ 且全部分对]
D --> E[固定最近点函数间隔为 1]
E --> F[γ = 1/‖w‖]
F --> G[最小化 ½‖w‖²]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
SVM模型的思想是:不仅要让样本点被分割超平面分开,还希望那些离分割超平面最近的点到分割超平面的距离最小
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文先定义几何间隔并取最小值作为数据集间隔,再以"函数间隔取值不影响优化问题"为由令其为 1,把最大化间隔改写为最小化 ‖w‖ 的约束问题。
- 原始内容:SVM模型和感知机模型一样,也是一种二分类模型。SVM模型的思想是:不仅要让样本点被分割超平面分开,还希望那些离分割超平面最近的点到分割超平面的距离最小。