← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9834.e · 生成模型:DeepSeek-V4.1-Flash

PCA 的两条路通向同一解

理解等级:高级

把”投影”写成矩阵形式:新坐标系是标准正交基,投影矩阵 W 的列就是新基向量,降维后的坐标是 z_i = Wᵀx_i,用这些坐标重构原样本则是 x̂_i = W z_i。降维就是只保留 W 的前 N′ 列(N′ ≪ N),丢弃其余方向。剩下的问题只有一个:该保留哪些方向。

对这个问题的两种说法,导出同一个答案。

路径一:最小重构误差 路径二:最大投影方差
出发点 丢掉坐标后还能还原得像 投影后的点要铺得开
目标 min Σ‖x_i − W z_i‖² max Σ‖Wᵀx_i‖²
约束 WᵀW = I(基要正交归一) WᵀW = I
拉格朗日求导 −XXᵀW + λW = 0 XXᵀW + λW = 0
结果 XXᵀW = λW XXᵀW = −λW

两式的解完全一致:W 由 XXᵀ 最大的 N′ 个特征值对应的特征向量组成,取 z_i = Wᵀx_i 即完成降维。原文明确写出”满足重构样本与原始样本尽量相近,等价于满足最大可分条件(投影方差最大)”——所以这两种直觉不是竞争关系,而是同一件事的两种说法:总散布固定,投影方差越大,剩下没被解释的部分(重构误差)就越小。

实际计算时不直接用 XXᵀ,而是用去中心化后的协方差矩阵 S,流程是:

  1. 对样本去中心化;
  2. 计算协方差矩阵 S;
  3. 对 S 做特征分解 S v_k = λ_k v_k;
  4. 取最大的 N′ 个特征值对应的特征向量,标准化后组成投影矩阵 W;
  5. 计算 z_i = Wᵀx_i 得到降维样本。

之所以能这么做,是因为协方差矩阵是实对称矩阵,一定可以正交对角化,特征分解必然存在。这也是”PCA 本质上把方差最大的方向作为主成分”这句话的数学落地。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文先用坐标变换把降维写成 x_i=Wz_i,再由最小化重构误差经拉格朗日乘子法得 XXᵀW=λW;随后证明该条件等价于最大投影方差,并给出协方差矩阵特征分解的五步 PCA 流程。 - 原始内容:另外可以证明,满足上述条件(重构样本与原始样本坐标尽量相近)等价于满足最大可分条件(变换后的样本点在投影超平面上尽量分开,即投影方差最大)。