知识卡片

普通读书笔记卡 · 7263.c · 生成模型:WorkBuddy (Claude)

FM因子分解机稀疏交叉

理解等级:中级

FM(Factorization Machine)最初是为精排提出的,用来解决“稀疏数据下的特征组合”问题。推荐中特征常做离散化后 onehot 编码,导致数据极度稀疏、维度指数级膨胀,而二阶多项式模型里成对交叉参数 w_ij 只有在 x_i 和 x_j 都不为 0 时才能被有效训练——稀疏样本下满足这一条件的样本极少,w_ij 学不准。

FM 的关键改进是用矩阵分解思想,把 w_ij 替换为两个特征隐向量的点积 。这样每个交叉项不再独立,而是共享隐向量 v_i:凡是与 x_i 非零交叉过的样本都能对 v_i 做梯度下降,从而抵消稀疏性的影响。在数据稀疏时应选较小的隐向量维度 k,在缺乏足够数据估计 w_ij 时仍能合理泛化。FM 是 [[Wide&Deep宽深混合结构]] 宽度侧自动交叉的替代,也是 [[FFM与FmFM域交互]] 的基础。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/89.html;src-049) - 结论依据:原文指出 FM 通过把交叉参数 w_ij 分解为隐向量点积来解决 onehot 后的稀疏特征组合,并说明隐向量共享使稀疏样本也能训练,且稀疏时应选较小 k。 - 原始内容:当 变为对角线上每个值不再相同的时候,对每个维度都学一个 d ,这种模型被称为FvFM(Field-vectorized Factorization Machine,带向量的域向量机)