← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9834.b · 生成模型:DeepSeek-V4.1-Flash

SVD 把非方阵拆成三块

理解等级:中级

奇异值分解(SVD)是特征分解在任意形状矩阵上的推广。设 A 是 M×N 矩阵、秩为 K,则

A = U Σ Vᵀ

  • U(M×M):列是左奇异向量,两两正交,故 UUᵀ = I;
  • V(N×N):列是右奇异向量,两两正交,故 VVᵀ = I;
  • Σ(M×N):除对角线外全为 0,对角元 σ_i 称为奇异值。

它为什么长这样,看两边乘一下就清楚了。因为 A Aᵀ 是 M×M 方阵、AᵀA 是 N×N 方阵,都可以做特征分解:

  • 求 (A Aᵀ)u = λu,得到的特征向量组成左奇异矩阵 U;
  • 求 (AᵀA)v = λv,得到的特征向量组成右奇异矩阵 V;
  • 奇异值是对应特征值开平方,σ_i = √λ_i。

也就是说,SVD 并没有引入全新的数学,而是把”非方阵不能特征分解”的问题,转化成两个对称方阵的特征分解问题。这也解释了为什么数值计算上求 SVD 常等于求这两个方阵的特征分解。

从变换的角度看,A = UΣVᵀ 把一次线性变换拆成三步:先用 Vᵀ 旋转坐标,再用 Σ 在各坐标轴上缩放(可能升降维),最后用 U 旋转到输出空间。任意矩阵的作用,本质上就是”旋转—缩放—旋转”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文给出 SVD 定义 A=UΣVᵀ,说明 U、V 正交且 Σ 仅对角非零,并由 AAᵀ、AᵀA 的特征分解推出左/右奇异矩阵与奇异值 σ=√λ 的对应关系。 - 原始内容:奇异值分解(SVD)就是用来解决非方阵型矩阵的特征分解的,其将矩阵分解为奇异向量和奇异值……其中, U是M×M方阵,里面的向量是正交的,称为左奇异向量; V是N×N方阵,里面的向量是正交的,称为右奇异向量