← 返回刚才阅读的位置

知识卡片

结构图卡 · 9829.h · 生成模型:DeepSeek-V4.1-Flash

核函数不用真的映射到高维

理解等级:高级

数据在原空间里弯弯曲曲分不开时,标准套路是先做一个映射 φ,把样本送到更高维的空间去。依据是 Cover 定理:复杂的分类问题非线性地映射到高维后,比在低维更可能线性可分。维度足够高时,原本纠缠的两类常常能被一个平面切开。

问题是 φ 太难办:怎么写没有通用答案,维度可能高到无法存储,显式算 φ(x) 再求内积的代价随维度爆炸。

核技巧绕开了这一步。注意对偶问题和决策函数里,样本只以内积 x_i·x_j 的形式出现。既然如此,就把这个内积整体换成一个函数:

 K(x_i,x_j) = φ(x_i)·φ(x_j)

只要存在某个 φ 使得上式成立(这样的 K 称为正定核),整个推导一字不改依然成立。也就是说,我们用的是高维空间里的内积值,却从不需要写出高维坐标——这就是”核函数不仅具备映射能力,又不会增加太多计算量”的含义。

几个常用核的直觉:

  • 线性核 K=x·z:不映射,就是原问题,适合特征维度已经很高、近似线性可分的场景。
  • 多项式核 K=[γ(x·z+1)+r]^p:内积的 p 次幂展开后包含所有不超过 p 阶的特征交叉项,p 控制交互阶数。
  • 高斯核 K=exp(−‖x−z‖²/(2σ²)):只依赖两点的距离,是一种”局部相似度”,越近越相似;它对应的特征空间是无穷维的,但计算只是一个指数。
  • Sigmoid 核:形似两层感知机,不是在所有参数下都满足核的条件,实用性较弱。

代价:核矩阵是 M×M 的,样本量大时训练成本高;而且模型不再是显式的线性函数,系数无法直接解释成”特征权重”。

参数怎么影响结果,见 [[核函数与C、σ²怎么选]]。

结构图:

flowchart TD
    A[原空间线性不可分] --> B[映射 φ 到高维空间]
    B --> C[高维中线性可分]
    C --> D[但对偶只用到内积 xi·xj]
    D --> E[用 K 替换内积]
    E --> F[不计算 φ 也得高维内积]
    F --> G[决策函数变为非线性边界]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文指出优化问题中特征仅以内积形式出现,因此可用核函数直接替换内积以间接实现高维映射,并列出四种常用核函数。 - 原始内容:可以看到,优化问题中,特征xi 和特征xj 仅仅以内积的形式出现……SVM模型并没有直接寻找和计算这种复杂的非线性变换,而是通过一种巧妙的方法来间接实现这种变换,它就是“核函数”。