知识卡片
给每个点一条可伸缩的边界
硬间隔把话说死了:每个点都必须满足 y_i(w·x_i+b)≥1。真实数据里两类往往有混叠,这个约束组直接无解——连超平面都找不到,更谈不上最大化间隔。
软间隔的做法是”允许违约,但要付费”。给每个点加一个松弛变量 ξ_i≥0,把约束改成
y_i(w·x_i+b) ≥ 1−ξ_i
ξ_i 就是该点的违约量:ξ_i=0 表示守规矩、在间隔带之外;ξ_i 取小正值表示点已经探进间隔带内但还没分错;ξ_i 再大就会越过超平面被分错。也就是说,间隔边界可以朝每个点单独凹进去一点。
只给特权不收钱,约束就形同虚设(把所有 ξ 设成很大,约束永远成立)。所以目标函数里同步加上罚项:
min ½‖w‖² + C·Σξ_i s.t. y_i(w·x_i+b)≥1−ξ_i, ξ_i≥0
这里出现一个真正的新超参数 C(惩罚参数),它决定了”宽间隔”和”少违约”之间的汇率:
| C | 行为 | 风险 |
|---|---|---|
| 很大(→∞) | 几乎不容忍违约,退化回硬间隔 | 间隔窄、支持向量多、易过拟合 |
| 适中 | 容忍少量越界的点,换取更宽的间隔 | — |
| 很小 | 大量点可以违约,间隔很宽 | 欠拟合、把噪声当常态 |
转成对偶后,整个式子的结构几乎没有变化,唯一的变化是 α 多了一个上界:0≤α_i≤C。这个上界的含义很直观——每个点对 w 的影响力被封顶了,异常点再怎么”喊”,最多贡献 C 那么多。求解 b 时原文按 α_i 与 C 的关系把支持向量分为落在两条临界超平面之间的点和落在它们外侧的点,前者用来算 b。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.3 软间隔支持向量机 · 查看原书依据
每个样本点在软间隔里面享受了优惠,对应的就要在优化问题里面接受惩罚
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文由样本混叠引出松弛变量与约束放宽,并强调"享受优惠就要接受惩罚",据此在目标中加入 C·Σξ_i 项。
- 原始内容:所以SVM模型采取的措施是:每个样本点在软间隔里面享受了优惠,对应的就要在优化问题里面接受惩罚,具体就是在优化目标里面加上一个对应的惩罚项cξi ,所以原来的优化问题变为