知识卡片

普通读书笔记卡 · 9816.g · 生成模型:DeepSeek-V4.1-Flash

FM用内积表达二阶交叉

理解等级:高级

FM 把每个交叉权重分解为两个隐向量的内积:w_ij ≈ ,v_i 是第 i 维特征的 k 维隐向量(k≪n)。模型输出为全局偏置 + 一阶项 Σw_i xi + 二阶项 Σ{ix_i x_j。

关键在于参数共享带来的泛化:若特征 A 与 B 在样本中共现过、B 与 C 共现过,则 v_B 同时被这两组数据训练,于是即便 A 与 C 从未同时出现, 也有一个合理的估计。参数量从 O(n²) 降到 nk。

计算上,二阶项可借恒等式化简:Σ_{ix_i x_j = ½Σ_f[(Σ_i v_if x_i)² − Σ_i v_if² x_i²],复杂度从 O(kn²) 降到 O(kn),因此可以在线实时打分。

代价与边界:k 决定表达力,太小欠拟合、太大过拟合;模型只建模到二阶,三阶以上交互仍需人工或深度模型;FM 的优势主要出现在高维稀疏的类别特征上。训练用 SGD,加 L2 正则抑制过拟合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 推荐系统的主要算法 · 查看原书依据

      举一个简单的例子,如果特征A和特征B在一些样本中一起出现过,特征B和特征C在一些样本中一起出现过,那么特征A和特征C无论是否在样本中一起出现过,仍然是有一些联系的。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0110.html) - 结论依据:原文用 A-B、B-C 共现推出 A-C 仍有关联的例子,说明隐向量共享参数能在未共现的组合上给出估计,这正是 FM 解决稀疏交叉的核心机制。 - 原始内容:举一个简单的例子,如果特征A和特征B在一些样本中一起出现过,特征B和特征C在一些样本中一起出现过,那么特征A和特征C无论是否在样本中一起出现过,仍然是有一些联系的。