知识卡片
SVD 把非方阵拆成三块
奇异值分解(SVD)是特征分解在任意形状矩阵上的推广。设 A 是 M×N 矩阵、秩为 K,则
A = U Σ Vᵀ
- U(M×M):列是左奇异向量,两两正交,故 UUᵀ = I;
- V(N×N):列是右奇异向量,两两正交,故 VVᵀ = I;
- Σ(M×N):除对角线外全为 0,对角元 σ_i 称为奇异值。
它为什么长这样,看两边乘一下就清楚了。因为 A Aᵀ 是 M×M 方阵、AᵀA 是 N×N 方阵,都可以做特征分解:
- 求 (A Aᵀ)u = λu,得到的特征向量组成左奇异矩阵 U;
- 求 (AᵀA)v = λv,得到的特征向量组成右奇异矩阵 V;
- 奇异值是对应特征值开平方,σ_i = √λ_i。
也就是说,SVD 并没有引入全新的数学,而是把”非方阵不能特征分解”的问题,转化成两个对称方阵的特征分解问题。这也解释了为什么数值计算上求 SVD 常等于求这两个方阵的特征分解。
从变换的角度看,A = UΣVᵀ 把一次线性变换拆成三步:先用 Vᵀ 旋转坐标,再用 Σ 在各坐标轴上缩放(可能升降维),最后用 U 旋转到输出空间。任意矩阵的作用,本质上就是”旋转—缩放—旋转”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.1.2 奇异值分解 · 查看原书依据
其中, U是M×M方阵,里面的向量是正交的,称为左奇异向量; V是N×N方阵,里面的向量是正交的,称为右奇异向量
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文给出 SVD 定义 A=UΣVᵀ,说明 U、V 正交且 Σ 仅对角非零,并由 AAᵀ、AᵀA 的特征分解推出左/右奇异矩阵与奇异值 σ=√λ 的对应关系。
- 原始内容:奇异值分解(SVD)就是用来解决非方阵型矩阵的特征分解的,其将矩阵分解为奇异向量和奇异值……其中, U是M×M方阵,里面的向量是正交的,称为左奇异向量; V是N×N方阵,里面的向量是正交的,称为右奇异向量