← 返回刚才阅读的位置

知识卡片

问题卡 · 9834.f · 生成模型:DeepSeek-V4.1-Flash

主成分取几个才够

理解等级:中级

PCA 的特征值按从大到小排列后,第 k 个特征值占全部特征值之和的比例,就是第 k 个主成分解释的方差比例。保留几个主成分(N′ 取多少)是一次明确的取舍:N′ 小则压缩彻底、下游计算省,但信息损失大;N′ 大则保真但降维意义减弱。

原文给出两种选法,分别对应”看数据”和”看任务”:

  1. 方差阈值法:预先设定一个比例,比如 0.95,然后取满足”前 N′ 个特征值之和 / 全部特征值之和 ≥ 0.95”的最小 N′。这是在保证保留绝大部分信息的前提下尽量压缩,不需要标签,适合无监督场景或探索阶段。
  2. 交叉验证法:把 N′ 当作超参数,看降维后下游模型的性能,选表现最好的。这是最终裁判——因为降维从来不是目的,服务后续任务是目的。

用 scikit-learn 时,n_components 一个参数就能表达这三种意图:给整数是直接指定维数;给 0 到 1 之间的小数是”保留的方差比例”(等价于阈值法);给 'mle' 则用 Minka 的极大似然估计自动推断维数。训练后看 explained_variance_ratio_ 就能知道每个主成分贡献了多少比例,累加即可判断当前 N′ 是否够用(见 [[PCA 的输出怎么读]])。

一个实践提醒:阈值法只看”数据本身保留了多少方差”,不保证”保住了对分类有用的部分”。若类别差异恰好藏在低方差方向,0.95 的阈值会把关键信息一起丢掉——这时应该改用交叉验证,或直接换用有监督的 LDA。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文在 PCA 流程后专门说明低维空间维数 N′ 的两种选取方法:预先设阈值(如 0.95)取最小满足值,或用交叉验证看降维后模型性能。 - 原始内容:(1)从算法原理的角度预先设立一个阈值,比如0.95,然后选取使得下式成立的最小的N'值……(2)通过交叉验证方式选择较好的N'值,即降维后机器学习模型的性能比较好。