知识卡片
SVM分类器函数
由对偶推导得到的分类器是 f(x)=sgn(Σ λi yi ⟨xi,x⟩+b):令导数为零可得 w=Σ λi yi xi,再借约束求出截距 b。式中 xi 是第 i 个训练样本,x 是待分类的未知向量,⟨xi,x⟩ 是两者内积。注意求和只涉及 λi>0 的样本——这些正是落在间隔边界上的支持向量,其余样本乘子为零、对分类面没有贡献,这也解释了最大间隔超平面只由少数关键点决定。线性 SVM 与梯度下降法目标相同,都是构造线性超平面分开两类,但 SVM 引入结构风险最小原则,多加了最大间隔这一约束,使求解更复杂,却保证了解在结构上的最优性。这套内积形式也为后面映射到高维与核函数埋下伏笔。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
到现在,我们简单小结一下。线性支持向量机和梯度下降法解决的问题都是相同的,都是构造一个线性超平面,使之能分开两类不同的样本。但是求解算法则不相同,原因是支持向量机引入了SRM原则,对原有问题的求解增加了一个约束条件——最大间隔,使问题的求解变得复杂很多,但保证了解在结构上的最优性。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文给出 w=Σλi yi xi、内积形式的分类器函数,并比较线性 SVM 与梯度下降法在 SRM 约束上的差别。
- 原始内容:到现在,我们简单小结一下。线性支持向量机和梯度下降法解决的问题都是相同的,都是构造一个线性超平面,使之能分开两类不同的样本。但是求解算法则不相同,原因是支持向量机引入了SRM原则,对原有问题的求解增加了一个约束条件——最大间隔,使问题的求解变得复杂很多,但保证了解在结构上的最优性。