← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9904.f · 生成模型:Hunyuan

SVD缺陷与梯度下降求解

理解等级:高级

矩阵分解有特征值分解、奇异值分解(SVD)和梯度下降三种主要解法。特征值分解只能作用于方阵,不适用用户—物品矩阵;SVD虽能对M=UΣVT取前k个较大奇异值完成分解,却不适合互联网场景:一是它要求共现矩阵稠密,而用户行为极少导致矩阵极稀疏,必须人工填充缺失值;二是传统SVD复杂度达O(mn²),面对百万物品、千万用户几乎不可接受。因此梯度下降成为主流:确定让原始评分与pu·qi之差尽量小的目标函数,加入正则化项防过拟合,对pu、qi求偏导得到梯度,沿反方向按学习率迭代更新,直到迭代次数超限或损失低于阈值。为防止过拟合,正则化项通过惩罚大权重让输出更稳定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据

      奇异值分解似乎完美地解决了矩阵分解的问题,但其存在两点缺陷,使其不宜作为互联网场景下矩阵分解的主要方法。 (1)奇异值分解要求原始的共现矩阵是稠密的。互联网场景下大部分用户的行为历史非常少,用户-物品的共现矩阵非常稀疏,这与奇异值分解的应用条件相悖

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_003.html) - 结论依据:原文逐条列出SVD要求矩阵稠密、复杂度O(mn²)两点缺陷,随后给出梯度下降的目标函数、求导、参数更新与停止条件四步流程。 - 原始内容:奇异值分解似乎完美地解决了矩阵分解的问题,但其存在两点缺陷,使其不宜作为互联网场景下矩阵分解的主要方法。 (1)奇异值分解要求原始的共现矩阵是稠密的。互联网场景下大部分用户的行为历史非常少,用户-物品的共现矩阵非常稀疏,这与奇异值分解的应用条件相悖