知识卡片
PCA 的两条路通向同一解
把”投影”写成矩阵形式:新坐标系是标准正交基,投影矩阵 W 的列就是新基向量,降维后的坐标是 z_i = Wᵀx_i,用这些坐标重构原样本则是 x̂_i = W z_i。降维就是只保留 W 的前 N′ 列(N′ ≪ N),丢弃其余方向。剩下的问题只有一个:该保留哪些方向。
对这个问题的两种说法,导出同一个答案。
| 路径一:最小重构误差 | 路径二:最大投影方差 | |
|---|---|---|
| 出发点 | 丢掉坐标后还能还原得像 | 投影后的点要铺得开 |
| 目标 | min Σ‖x_i − W z_i‖² | max Σ‖Wᵀx_i‖² |
| 约束 | WᵀW = I(基要正交归一) | WᵀW = I |
| 拉格朗日求导 | −XXᵀW + λW = 0 | XXᵀW + λW = 0 |
| 结果 | XXᵀW = λW | XXᵀW = −λW |
两式的解完全一致:W 由 XXᵀ 最大的 N′ 个特征值对应的特征向量组成,取 z_i = Wᵀx_i 即完成降维。原文明确写出”满足重构样本与原始样本尽量相近,等价于满足最大可分条件(投影方差最大)”——所以这两种直觉不是竞争关系,而是同一件事的两种说法:总散布固定,投影方差越大,剩下没被解释的部分(重构误差)就越小。
实际计算时不直接用 XXᵀ,而是用去中心化后的协方差矩阵 S,流程是:
- 对样本去中心化;
- 计算协方差矩阵 S;
- 对 S 做特征分解 S v_k = λ_k v_k;
- 取最大的 N′ 个特征值对应的特征向量,标准化后组成投影矩阵 W;
- 计算 z_i = Wᵀx_i 得到降维样本。
之所以能这么做,是因为协方差矩阵是实对称矩阵,一定可以正交对角化,特征分解必然存在。这也是”PCA 本质上把方差最大的方向作为主成分”这句话的数学落地。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.2.1 PCA原理推导 · 查看原书依据
另外可以证明,满足上述条件(重构样本与原始样本坐标尽量相近)等价于满足最大可分条件(变换后的样本点在投影超平面上尽量分开,即投影方差最大)。
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文先用坐标变换把降维写成 x_i=Wz_i,再由最小化重构误差经拉格朗日乘子法得 XXᵀW=λW;随后证明该条件等价于最大投影方差,并给出协方差矩阵特征分解的五步 PCA 流程。
- 原始内容:另外可以证明,满足上述条件(重构样本与原始样本坐标尽量相近)等价于满足最大可分条件(变换后的样本点在投影超平面上尽量分开,即投影方差最大)。