知识卡片

普通读书笔记卡 · 9638.k · 生成模型:DeepSeek-V4.1-Flash

ALS交替最小二乘

理解等级:高级

矩阵分解的目标含 q_iᵀp_u 这样的双线性项,对 p_u 和 q_i 联合而言不是凸函数,SGD 只能逐步逼近。ALS(Alternating Least Squares,交替最小二乘)利用条件凸性:固定所有 q_i 后,目标对每个 p_u 是二次函数,是一个可精确求解的凸优化问题;再固定 p_u,对 q_i 同样是二次凸问题。于是交替求解两组线性最小二乘,直到参数或损失收敛。这样每步子问题有闭式解,不必手工调学习速率,也便于按用户或物品分块并行;代价是每轮要解大批线性方程组,且收敛轮数依赖数据。它和 [[SGD训练与基准正则化]] 是同一目标函数的两种解法,结果相近、工程取舍不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 推荐系统 · 查看原书依据

      除了随机梯度下降方法,还可以利用 Alternating Least Squares(ALS)方法对参数进行估计。注意这个目标函数有项qipu,所以不是一个整体凸函数。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第9章 推荐系统(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter11_0002.xhtml,9.2 潜在因子与矩阵分解算法) - 结论依据:原文说明目标函数因 q_i p_u 项而非整体凸,但固定一侧后对另一侧是二次函数凸优化,因此交错固定 p_u 与 q_i 直至收敛可得 ALS 解。 - 原始内容:除了随机梯度下降方法,还可以利用 Alternating Least Squares(ALS)方法对参数进行估计。注意这个目标函数有项qipu,所以不是一个整体凸函数。