知识卡片
因子分解机用隐向量解稀疏
逻辑回归把每个特征独立加权,无法表达“女性”与“化妆品”这类特征组合。最直接的组合模型给每一对特征一个独立权重 wij,参数量 n(n+1)/2;样本稀疏时 xi 与 xj 同时非零的记录极少,wij 根本训不准。FM 借矩阵分解的思路,把所有 wij 组成对称矩阵 W,并令 W=VᵀV,即 wij=⟨vi,vj⟩:每个特征只需一个长度为 k 的隐向量,参数量降到 kn,且包含 xi 的非零组合都能反过来更新 vi,等于让稀疏样本互相共享统计强度。预测仍是线性时间,因此适合广告 CTR 这类高维稀疏场景。边界在 k 的选取:太小欠拟合组合关系,太大则退化回参数过多的老问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(上) · 查看原书依据
该模型的组合特征参数减少为kn个,而且之间的参数不再相互独立,所有包含xi的非零组合特征都可以用来学习隐向量vi,很大程度避免了稀疏问题。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「该模型的组合特征参数减少为kn个,而且之间的参数不再相互独立,所有包含xi的非零……」
- 原始内容:该模型的组合特征参数减少为kn个,而且之间的参数不再相互独立,所有包含xi的非零组合特征都可以用来学习隐向量vi,很大程度避免了稀疏问题。