← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9834.g · 生成模型:DeepSeek-V4.1-Flash

核 PCA 先升维再线性降维

理解等级:中级

线性 PCA 有个隐含前提:存在一个线性超平面,把样本投影上去还能保住主要结构。数据若分布在一个弯曲的流形上(比如两类样本套成同心圆),任何直线投影都会把两类压在一起,这时 PCA 无论取几个主成分都分不开。

核 PCA(KPCA)借用了支持向量机的核技巧:既然在原空间找不到好的线性超平面,那就先用一个非线性映射 φ 把样本送到更高维的空间,在那个空间里数据更可能变得线性可分,然后再跑一遍标准线性 PCA。整个过程只需在映射后的空间里做特征分解,而不需要真的写出 φ——只要能用核函数算出映射后样本之间的内积即可。

它与线性 PCA 的关系,和 SVM 里线性核与 RBF 核的关系完全平行:

  • 核取 linear 时,KPCA 退化为普通 PCA;
  • 核取 rbf(高斯核)时,能拟合相当一般的非线性结构,是最常用的选择;
  • 另有 poly、sigmoid、cosine,或传入自定义核矩阵。

原文的对比实验很能说明价值:二维数据上用 PCA 和 KPCA 都能把两类分开,但 KPCA 的结果直接把数据变成了线性可分,后面接一个简单线性分类器就能完美分开。也就是说,KPCA 不只是降维,还顺带改善了可分性。

代价有三点:核矩阵是 M×M 的,样本量大时内存与计算都会吃紧;多出核类型、gamma、degree 等参数要调;核选择不当反而会把结构抹平。所以它是”线性 PCA 明显不够用”时的升级选项,而不是默认选项。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 降维 13.2.2 核化PCA · 查看原书依据

      前面讲到的PCA方法将样本特征从高维投影到低维时,采用的是一种线性映射的方式,即默认存在一个线性超平面,可以让我们对样本数据点进行投影。但在很多实际任务中,可能并不存在这样一个比较理想的线性超平面

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文指出线性投影假设在很多任务中不成立,因此类似 SVM 引入核函数,先对样本做非线性映射再走线性 PCA 流程,称其为核主成分分析,并用 PCA/KPCA 对比实验说明 KPCA 可使数据线性可分。 - 原始内容:前面讲到的PCA方法将样本特征从高维投影到低维时,采用的是一种线性映射的方式,即默认存在一个线性超平面,可以让我们对样本数据点进行投影。但在很多实际任务中,可能并不存在这样一个比较理想的线性超平面……这种基于核技巧的PCA方法称为核主成分分析(Kernelized PCA,KPCA)。