知识卡片
主成分取几个才够
PCA 的特征值按从大到小排列后,第 k 个特征值占全部特征值之和的比例,就是第 k 个主成分解释的方差比例。保留几个主成分(N′ 取多少)是一次明确的取舍:N′ 小则压缩彻底、下游计算省,但信息损失大;N′ 大则保真但降维意义减弱。
原文给出两种选法,分别对应”看数据”和”看任务”:
- 方差阈值法:预先设定一个比例,比如 0.95,然后取满足”前 N′ 个特征值之和 / 全部特征值之和 ≥ 0.95”的最小 N′。这是在保证保留绝大部分信息的前提下尽量压缩,不需要标签,适合无监督场景或探索阶段。
- 交叉验证法:把 N′ 当作超参数,看降维后下游模型的性能,选表现最好的。这是最终裁判——因为降维从来不是目的,服务后续任务是目的。
用 scikit-learn 时,n_components 一个参数就能表达这三种意图:给整数是直接指定维数;给 0 到 1 之间的小数是”保留的方差比例”(等价于阈值法);给 'mle' 则用 Minka 的极大似然估计自动推断维数。训练后看 explained_variance_ratio_ 就能知道每个主成分贡献了多少比例,累加即可判断当前 N′ 是否够用(见 [[PCA 的输出怎么读]])。
一个实践提醒:阈值法只看”数据本身保留了多少方差”,不保证”保住了对分类有用的部分”。若类别差异恰好藏在低方差方向,0.95 的阈值会把关键信息一起丢掉——这时应该改用交叉验证,或直接换用有监督的 LDA。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.2.1 PCA原理推导 · 查看原书依据
(1)从算法原理的角度预先设立一个阈值,比如0.95,然后选取使得下式成立的最小的N'值
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文在 PCA 流程后专门说明低维空间维数 N′ 的两种选取方法:预先设阈值(如 0.95)取最小满足值,或用交叉验证看降维后模型性能。
- 原始内容:(1)从算法原理的角度预先设立一个阈值,比如0.95,然后选取使得下式成立的最小的N'值……(2)通过交叉验证方式选择较好的N'值,即降维后机器学习模型的性能比较好。