知识卡片
最大间隔超平面
线性分类器要为 n 维样本找一个超平面 w^T x+b=0。满足经验风险最小的超平面可能有很多,最大间隔超平面额外要求它到两类最近样本的距离最大:因为分类面保证经验风险最小,最大间隔使置信区间最小,二者合起来正好实现结构风险最优。点 x0 到超平面的距离为 |w^T x0+b|/‖w‖,其中 w 是法向量、b 是截距、‖w‖ 是范数。把标签由 {0,1} 改用 {+1,−1},就能把符号融进距离表达:正侧代入为正、负侧代入为负,乘上各自标签后都变为正,于是分类函数写成 f(x)=sgn(w^T x+b)。再取与超平面平行、等距的两边界 H1: y(w^T x+b)=+1 与 H2: y(w^T x+b)=−1,要求它们间隔最大且中间没有样本,约束可合并为 y(w^T x+b)≥1。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
这个超平面需要满足距离两类数据的间隔最大,我们称之为最大间隔超平面。 这么要求的原因是,分类超平面可以满足经验风险最小(ERM),最大间隔满足置信区间最小,这样我们就达到了结构风险最优(SRM)。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文指出分类超平面满足 ERM、最大间隔满足置信区间最小从而达成 SRM,并给出 w^T x+b=0、标签改 ±1 与两边界约束。
- 原始内容:这个超平面需要满足距离两类数据的间隔最大,我们称之为最大间隔超平面。 这么要求的原因是,分类超平面可以满足经验风险最小(ERM),最大间隔满足置信区间最小,这样我们就达到了结构风险最优(SRM)。