知识卡片
SGD训练与基准正则化
最简 SVD 模型只拟合观测评分:最小化 Σ(r_ui−q_iᵀp_u)²,求和遍历训练集中已观测的评分集合 K。记误差 e_ui=r_ui−预测值,随机梯度下降沿负梯度走一小步:q_i←q_i+γe_ui·p_u,p_u←p_u+γe_ui·q_i,γ 为学习速率,过大震荡、过小收敛慢。真实数据还有系统偏差,于是加入基准项:预测值=μ+b_u+b_i+q_iᵀp_u,μ 为总体平均,b_u 是用户偏宽或偏严,b_i 是物品天生受欢迎或不受欢迎。参数多会记住噪声,故在损失上加 L2 惩罚 λ(‖p_u‖²+‖q_i‖²+b_u²+b_i²),更新变为 b_u←b_u+γ(e_ui−λb_u) 等形式。λ 与 γ 共同决定效果,不同参数组可用不同学习速率。
结构图:
flowchart TD
B["基准项 μ + b_u + b_i"] --> R["预测评分 q_i·p_u + 基准"]
F["用户因子 p_u 与物品因子 q_i"] --> R
R --> E["误差 e_ui = r_ui - 预测值"]
E --> G["SGD 更新 p_u、q_i、b_u、b_i"]
G --> R
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 推荐系统
原书出处 · 1 处
- 第9章 推荐系统 · 查看原书依据
通常对以上目标函数采用随机梯度下降方法(SGD)求解,通过不断迭代更新参数和预测值的方法进行参数估计。
参考来源
- 位置:《大数据挖掘与统计机器学习》第9章 推荐系统(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter11_0002.xhtml,9.2 潜在因子与矩阵分解算法)
- 结论依据:原文给出以观测评分为训练集的平方误差目标、SGD 的参数更新式,并依次引入 μ、b_u、b_i 组成的基准项与惩罚参数 λ,说明二者共同影响效果。
- 原始内容:通常对以上目标函数采用随机梯度下降方法(SGD)求解,通过不断迭代更新参数和预测值的方法进行参数估计。