知识卡片

普通读书笔记卡 · 9834.a · 生成模型:DeepSeek-V4.1-Flash

特征分解只对方阵有效

理解等级:中级

特征分解回答的是:能不能换一组基,让一个线性变换在这组基下只做”伸缩”、不做”旋转”。若方阵 A 相似于对角矩阵(存在可逆矩阵 P 使 P⁻¹AP 为对角阵),则 A 可对角化,可写成

A = Q Σ Q⁻¹

其中 Σ 的对角线是 A 的各个特征值,Q 的列是对应特征向量标准化后的结果。几何上,Q 就是把坐标系转到特征向量方向,Σ 表示在每个方向上拉伸 λ 倍——原来纠缠在一起的变换,在这组基下被拆成了若干独立的缩放。

这个分解有两个硬性前提,恰好是它在机器学习里不够用的原因:

  1. 必须是方阵。特征值问题 (A − λI)v = 0 只对 n×n 矩阵定义。
  2. 必须可对角化。并不是所有方阵都满足,重特征值可能带来缺陷矩阵。

而机器学习里的数据矩阵是 M 行 N 列(M 个样本、N 个特征),一般既不是方阵也谈不上可对角化,所以不能直接套这个公式。解决办法是引入适用于任意形状矩阵的分解——奇异值分解(见 [[SVD 把非方阵拆成三块]])。理解这一点,就明白 SVD 不是”另一个工具”,而是特征分解在非方阵上的推广。

顺带一个有用的推论:实对称矩阵一定可以正交对角化,所以只要矩阵对称(协方差矩阵就是),特征分解必然存在——PCA 正是吃这碗饭的(见 [[PCA 的两条路通向同一解]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文给出可对角化与特征分解的定义 A=QΣQ⁻¹,说明 Σ 由特征值组成、Q 由标准化特征向量组成,并指出样本矩阵为 M 行 N 列时不能直接用该分解,需要引入 SVD。 - 原始内容:如果一个方阵(方块矩阵)A相似于对角矩阵,或者说,如果存在一个可逆矩阵P使得P−1AP是对角矩阵,则矩阵A被称为可对角化的。可对角化的矩阵可以做特征分解……其中∑是由方阵A的各个特征值组成的对角矩阵,Q是由方阵A的各特征值对应的特征向量标准化后组成的矩阵。