知识卡片
FM用内积表达二阶交叉
FM 把每个交叉权重分解为两个隐向量的内积:w_ij ≈ ,v_i 是第 i 维特征的 k 维隐向量(k≪n)。模型输出为全局偏置 + 一阶项 Σw_i xi + 二阶项 Σ{ix_i x_j。
关键在于参数共享带来的泛化:若特征 A 与 B 在样本中共现过、B 与 C 共现过,则 v_B 同时被这两组数据训练,于是即便 A 与 C 从未同时出现, 也有一个合理的估计。参数量从 O(n²) 降到 nk。
计算上,二阶项可借恒等式化简:Σ_{ix_i x_j = ½Σ_f[(Σ_i v_if x_i)² − Σ_i v_if² x_i²],复杂度从 O(kn²) 降到 O(kn),因此可以在线实时打分。
代价与边界:k 决定表达力,太小欠拟合、太大过拟合;模型只建模到二阶,三阶以上交互仍需人工或深度模型;FM 的优势主要出现在高维稀疏的类别特征上。训练用 SGD,加 L2 正则抑制过拟合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
举一个简单的例子,如果特征A和特征B在一些样本中一起出现过,特征B和特征C在一些样本中一起出现过,那么特征A和特征C无论是否在样本中一起出现过,仍然是有一些联系的。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0110.html)
- 结论依据:原文用 A-B、B-C 共现推出 A-C 仍有关联的例子,说明隐向量共享参数能在未共现的组合上给出估计,这正是 FM 解决稀疏交叉的核心机制。
- 原始内容:举一个简单的例子,如果特征A和特征B在一些样本中一起出现过,特征B和特征C在一些样本中一起出现过,那么特征A和特征C无论是否在样本中一起出现过,仍然是有一些联系的。