知识卡片

普通读书笔记卡 · 9841.m · 生成模型:Hunyuan

SVD:任意矩阵的奇异值分解

理解等级:高级

特征值分解只能作用于方阵,而现实中的用户—物品矩阵是 N×M 的长方形,奇异值分解(SVD)正是为任意矩阵设计的分解:A=UΣVᵀ。若 A 为 N×M,U 是 N×N 方阵,其正交的列称左奇异向量;Σ 是 N×M 对角阵,对角线元素称奇异值;Vᵀ 是 V 的转置,其正交的列称右奇异向量。奇异值与特征值通过对 AᵀA 求特征向量对应起来:解 (AᵀA)v=λv 得到 V,而 σ=√λ 就是奇异值。实际应用只保留前 r 个最大奇异值做近似,r 远小于 m、n,用三个瘦矩阵相乘逼近原矩阵,存储量从 m×n 降到 r(m+n)。奇异值按从大到小排列且衰减极快,前 1% 的奇异值之和常占总量九成以上,这是截断近似能成立的依据;r 越大越接近原矩阵,但压缩收益越低。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 推荐系统原理 · 查看原书依据

      奇异值分解是一个能适用于任意矩阵的分解方法。 A=UΣVT 假设A是一个N×M的矩阵,那么得到的U是一个N×N的方阵(里面的向量是正交的,称为左奇异向量),Σ是一个N×M的矩阵(除了对角线的元素都是0,对角线上的元素称为奇异值)

    参考来源

    - 位置:《机器学习算法原理与编程实践》第4章 推荐系统原理(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00016.html) - 结论依据:原文给出 A=UΣVᵀ 的各矩阵形状与左右奇异向量命名,写出 (AᵀA)v=λv 的对应关系,并说明前 10% 甚至 1% 奇异值可占总量 99% 以上,支撑本卡推导与近似说明。 - 原始内容:奇异值分解是一个能适用于任意矩阵的分解方法。 A=UΣVT 假设A是一个N×M的矩阵,那么得到的U是一个N×N的方阵(里面的向量是正交的,称为左奇异向量),Σ是一个N×M的矩阵(除了对角线的元素都是0,对角线上的元素称为奇异值)