知识卡片
核函数不用真的映射到高维
数据在原空间里弯弯曲曲分不开时,标准套路是先做一个映射 φ,把样本送到更高维的空间去。依据是 Cover 定理:复杂的分类问题非线性地映射到高维后,比在低维更可能线性可分。维度足够高时,原本纠缠的两类常常能被一个平面切开。
问题是 φ 太难办:怎么写没有通用答案,维度可能高到无法存储,显式算 φ(x) 再求内积的代价随维度爆炸。
核技巧绕开了这一步。注意对偶问题和决策函数里,样本只以内积 x_i·x_j 的形式出现。既然如此,就把这个内积整体换成一个函数:
K(x_i,x_j) = φ(x_i)·φ(x_j)
只要存在某个 φ 使得上式成立(这样的 K 称为正定核),整个推导一字不改依然成立。也就是说,我们用的是高维空间里的内积值,却从不需要写出高维坐标——这就是”核函数不仅具备映射能力,又不会增加太多计算量”的含义。
几个常用核的直觉:
- 线性核 K=x·z:不映射,就是原问题,适合特征维度已经很高、近似线性可分的场景。
- 多项式核 K=[γ(x·z+1)+r]^p:内积的 p 次幂展开后包含所有不超过 p 阶的特征交叉项,p 控制交互阶数。
- 高斯核 K=exp(−‖x−z‖²/(2σ²)):只依赖两点的距离,是一种”局部相似度”,越近越相似;它对应的特征空间是无穷维的,但计算只是一个指数。
- Sigmoid 核:形似两层感知机,不是在所有参数下都满足核的条件,实用性较弱。
代价:核矩阵是 M×M 的,样本量大时训练成本高;而且模型不再是显式的线性函数,系数无法直接解释成”特征权重”。
参数怎么影响结果,见 [[核函数与C、σ²怎么选]]。
结构图:
flowchart TD
A[原空间线性不可分] --> B[映射 φ 到高维空间]
B --> C[高维中线性可分]
C --> D[但对偶只用到内积 xi·xj]
D --> E[用 K 替换内积]
E --> F[不计算 φ 也得高维内积]
F --> G[决策函数变为非线性边界]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.5 非线性支持向量机 · 查看原书依据
SVM模型并没有直接寻找和计算这种复杂的非线性变换,而是通过一种巧妙的方法来间接实现这种变换,它就是“核函数”
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文指出优化问题中特征仅以内积形式出现,因此可用核函数直接替换内积以间接实现高维映射,并列出四种常用核函数。
- 原始内容:可以看到,优化问题中,特征xi 和特征xj 仅仅以内积的形式出现……SVM模型并没有直接寻找和计算这种复杂的非线性变换,而是通过一种巧妙的方法来间接实现这种变换,它就是“核函数”。