知识卡片
ALS交替最小二乘
矩阵分解的目标含 q_iᵀp_u 这样的双线性项,对 p_u 和 q_i 联合而言不是凸函数,SGD 只能逐步逼近。ALS(Alternating Least Squares,交替最小二乘)利用条件凸性:固定所有 q_i 后,目标对每个 p_u 是二次函数,是一个可精确求解的凸优化问题;再固定 p_u,对 q_i 同样是二次凸问题。于是交替求解两组线性最小二乘,直到参数或损失收敛。这样每步子问题有闭式解,不必手工调学习速率,也便于按用户或物品分块并行;代价是每轮要解大批线性方程组,且收敛轮数依赖数据。它和 [[SGD训练与基准正则化]] 是同一目标函数的两种解法,结果相近、工程取舍不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 推荐系统
原书出处 · 1 处
- 第9章 推荐系统 · 查看原书依据
除了随机梯度下降方法,还可以利用 Alternating Least Squares(ALS)方法对参数进行估计。注意这个目标函数有项qipu,所以不是一个整体凸函数。
参考来源
- 位置:《大数据挖掘与统计机器学习》第9章 推荐系统(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter11_0002.xhtml,9.2 潜在因子与矩阵分解算法)
- 结论依据:原文说明目标函数因 q_i p_u 项而非整体凸,但固定一侧后对另一侧是二次函数凸优化,因此交错固定 p_u 与 q_i 直至收敛可得 ALS 解。
- 原始内容:除了随机梯度下降方法,还可以利用 Alternating Least Squares(ALS)方法对参数进行估计。注意这个目标函数有项qipu,所以不是一个整体凸函数。