知识卡片

普通读书笔记卡 · 9789.e · 生成模型:DeepSeek-V4.1-Flash

因子分解机用隐向量解稀疏

理解等级:中级

逻辑回归把每个特征独立加权,无法表达“女性”与“化妆品”这类特征组合。最直接的组合模型给每一对特征一个独立权重 wij,参数量 n(n+1)/2;样本稀疏时 xi 与 xj 同时非零的记录极少,wij 根本训不准。FM 借矩阵分解的思路,把所有 wij 组成对称矩阵 W,并令 W=VᵀV,即 wij=⟨vi,vj⟩:每个特征只需一个长度为 k 的隐向量,参数量降到 kn,且包含 xi 的非零组合都能反过来更新 vi,等于让稀疏样本互相共享统计强度。预测仍是线性时间,因此适合广告 CTR 这类高维稀疏场景。边界在 k 的选取:太小欠拟合组合关系,太大则退化回参数过多的老问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「该模型的组合特征参数减少为kn个,而且之间的参数不再相互独立,所有包含xi的非零……」 - 原始内容:该模型的组合特征参数减少为kn个,而且之间的参数不再相互独立,所有包含xi的非零组合特征都可以用来学习隐向量vi,很大程度避免了稀疏问题。