知识卡片
映射高维处理线性不可分
处理线性不可分是 SVM 的核心,依据正是 VC 维:线性分类器在 n 维空间的 VC 维是 n+1,因此只要把样本映射到更高维空间,原本不可分的数据往往就能线性分开。做法分两步:先用非线性映射 θ(z) 把全部原始样本 x 变换到高维特征空间,使样本在那里线性可分;再在该空间中用线性分类器学习。书中用二维二次函数说明:把 x1x2 等高阶组合当作新的坐标分量,原非线性函数就能写成高维空间里的线性函数 a·z,其分类超平面对应原空间的非线性分界面。这样可避免直接在低维空间寻找非线性分类函数。但新空间维数随最高次数与低维维数呈爆炸式增长(如三维最高二次可到 19 维),显式计算 θ(·) 很困难,这就引出只在低维算内积的核函数法,见[[核函数法]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
首先,使用一个非线性映射θ(z)将全部原始数据x变换到高维特征空间,在这个空间中,样本变得线性可分了;其次,在特征空间中使用线性分类器学习分类。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文从 VC 维 n+1 推出映射高维使其线性可分,给出 θ(z) 二次示例与维度爆炸公式,支撑核函数的动机。
- 原始内容:首先,使用一个非线性映射θ(z)将全部原始数据x变换到高维特征空间,在这个空间中,样本变得线性可分了;其次,在特征空间中使用线性分类器学习分类。