知识卡片
少数奇异值撑起整个矩阵
SVD 真正有用的地方不在分解本身,而在”可以只留一部分”。
把奇异值按从大到小排列,会发现它们衰减得往往很快:原文指出,很多情况下前 10% 的奇异值就占了全部奇异值之和的 90% 以上。这意味着矩阵的主要信息集中在少数几个方向上,后面的奇异值对应的多是细节与噪声。
于是可以做截断近似:只保留前 K 个奇异值及其对应的左右奇异向量,
A(M×N) ≈ U(M×K) Σ(K×K) Vᵀ(K×N)
其中 K 远小于 M 和 N。存储一个 M×N 矩阵需要 MN 个数,而存这三块只需 K(M+N+1) 个数——当 K 很小时压缩比非常可观。这就是 SVD 能用于图像压缩(保留主要结构、丢掉细节)和降噪(丢掉小幅奇异值对应的噪声方向)的原因。
截断的代价也很直接:丢掉的小奇异值并非全是噪声,它们承载的是边缘、纹理这类低能量但可能重要的信息,K 取太小画面会糊、特征会丢。所以 K 的选择是一次”压缩率 vs 保真度”的权衡,与 PCA 里保留多少主成分是同一件事(见 [[主成分取几个才够]])。
反过来说,这个性质也解释了 PCA:PCA 的投影矩阵就是由数据矩阵的主奇异向量构成的,用 SVD 求解 PCA 是标准做法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.1.2 奇异值分解 · 查看原书依据
将奇异值在矩阵按从大到小的顺序排列,然后截取其中的前百分之多少作为整体的一个近似。实际上,在很多情况下,前 10%的奇异值就占了所有奇异值之和的90%以上,所以一般可以用前K个奇异值和对应的奇异向量来近似描述矩阵
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文说明奇异值按从大到小排列后,前 10% 的奇异值常占奇异值之和的 90% 以上,因此可用前 K 个奇异值及奇异向量近似描述矩阵,并指出这正是 SVD 可用于降维、图像压缩与降噪的原因。
- 原始内容:将奇异值在矩阵按从大到小的顺序排列,然后截取其中的前百分之多少作为整体的一个近似。实际上,在很多情况下,前 10%的奇异值就占了所有奇异值之和的90%以上,所以一般可以用前K个奇异值和对应的奇异向量来近似描述矩阵