知识卡片

结构图卡 · 9638.j · 生成模型:DeepSeek-V4.1-Flash

SGD训练与基准正则化

理解等级:中级

最简 SVD 模型只拟合观测评分:最小化 Σ(r_ui−q_iᵀp_u)²,求和遍历训练集中已观测的评分集合 K。记误差 e_ui=r_ui−预测值,随机梯度下降沿负梯度走一小步:q_i←q_i+γe_ui·p_u,p_u←p_u+γe_ui·q_i,γ 为学习速率,过大震荡、过小收敛慢。真实数据还有系统偏差,于是加入基准项:预测值=μ+b_u+b_i+q_iᵀp_u,μ 为总体平均,b_u 是用户偏宽或偏严,b_i 是物品天生受欢迎或不受欢迎。参数多会记住噪声,故在损失上加 L2 惩罚 λ(‖p_u‖²+‖q_i‖²+b_u²+b_i²),更新变为 b_u←b_u+γ(e_ui−λb_u) 等形式。λ 与 γ 共同决定效果,不同参数组可用不同学习速率。

结构图:

flowchart TD
  B["基准项 μ + b_u + b_i"] --> R["预测评分 q_i·p_u + 基准"]
  F["用户因子 p_u 与物品因子 q_i"] --> R
  R --> E["误差 e_ui = r_ui - 预测值"]
  E --> G["SGD 更新 p_u、q_i、b_u、b_i"]
  G --> R
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第9章 推荐系统(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter11_0002.xhtml,9.2 潜在因子与矩阵分解算法) - 结论依据:原文给出以观测评分为训练集的平方误差目标、SGD 的参数更新式,并依次引入 μ、b_u、b_i 组成的基准项与惩罚参数 λ,说明二者共同影响效果。 - 原始内容:通常对以上目标函数采用随机梯度下降方法(SGD)求解,通过不断迭代更新参数和预测值的方法进行参数估计。