知识卡片
特征分解只对方阵有效
特征分解回答的是:能不能换一组基,让一个线性变换在这组基下只做”伸缩”、不做”旋转”。若方阵 A 相似于对角矩阵(存在可逆矩阵 P 使 P⁻¹AP 为对角阵),则 A 可对角化,可写成
A = Q Σ Q⁻¹
其中 Σ 的对角线是 A 的各个特征值,Q 的列是对应特征向量标准化后的结果。几何上,Q 就是把坐标系转到特征向量方向,Σ 表示在每个方向上拉伸 λ 倍——原来纠缠在一起的变换,在这组基下被拆成了若干独立的缩放。
这个分解有两个硬性前提,恰好是它在机器学习里不够用的原因:
- 必须是方阵。特征值问题 (A − λI)v = 0 只对 n×n 矩阵定义。
- 必须可对角化。并不是所有方阵都满足,重特征值可能带来缺陷矩阵。
而机器学习里的数据矩阵是 M 行 N 列(M 个样本、N 个特征),一般既不是方阵也谈不上可对角化,所以不能直接套这个公式。解决办法是引入适用于任意形状矩阵的分解——奇异值分解(见 [[SVD 把非方阵拆成三块]])。理解这一点,就明白 SVD 不是”另一个工具”,而是特征分解在非方阵上的推广。
顺带一个有用的推论:实对称矩阵一定可以正交对角化,所以只要矩阵对称(协方差矩阵就是),特征分解必然存在——PCA 正是吃这碗饭的(见 [[PCA 的两条路通向同一解]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.1.1 矩阵的特征分解 · 查看原书依据
其中∑是由方阵A的各个特征值组成的对角矩阵,Q是由方阵A的各特征值对应的特征向量标准化后组成的矩阵。
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文给出可对角化与特征分解的定义 A=QΣQ⁻¹,说明 Σ 由特征值组成、Q 由标准化特征向量组成,并指出样本矩阵为 M 行 N 列时不能直接用该分解,需要引入 SVD。
- 原始内容:如果一个方阵(方块矩阵)A相似于对角矩阵,或者说,如果存在一个可逆矩阵P使得P−1AP是对角矩阵,则矩阵A被称为可对角化的。可对角化的矩阵可以做特征分解……其中∑是由方阵A的各个特征值组成的对角矩阵,Q是由方阵A的各特征值对应的特征向量标准化后组成的矩阵。