知识卡片

普通读书笔记卡 · 9834.d · 生成模型:DeepSeek-V4.1-Flash

PCA 找一条最能分开的轴

理解等级:初级

主成分分析(PCA)是无监督降维方法,基本思想是:用原始数据里最主要的几个方向来代替原始数据,在只损失少量信息的前提下大幅降维。

二维降到一维的例子最能说明问题。样本有两个特征、三个类别,要把它们压到一条直线上,就必须选一个投影方向。候选方向 u₁ 和 u₂ 都能完成”降维”,但投影到 u₁ 后三类分得更开,投影到 u₂ 则互相重叠。所以方向的选择才是 PCA 的核心。

原文给出两条判断原则:

  1. 紧凑性:样本点到投影直线的距离要近——投影前后位置变化小,信息损失少;
  2. 可分性:样本点在直线上的投影要尽量分开——投影后方差大,保留的差异多。

这两条其实是一体两面:点到直线的距离平方和与投影方差之和是互补的(总散布固定),所以”重构误差最小”与”投影方差最大”会导出同一个方向。这个等价关系是 PCA 推导的关键,见 [[PCA 的两条路通向同一解]]。

工程上要记住的是:PCA 只关心数据本身的散布,不看标签。所以它挑出的”最大方差方向”未必是”最利于分类的方向”——如果类别差异恰好落在方差小的方向上,PCA 会把它当噪声丢掉。这正是 LDA 存在的理由(见 [[LDA 让类间远类内近]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文用二维降一维的 u₁/u₂ 方向对比说明投影方向的关键作用,并提出"点到直线距离更近"与"投影尽量分开"两条基本原则(紧凑性与可分性)。 - 原始内容:主成分分析(PCA)也是一种很重要的无监督降维方法……这里有两个基本原则,第一是样本点到u1 方向直线的距离更近,第二是样本点在u1 方向直线上的投影能尽可能地分开,即同时满足紧凑性和可分性的要求。