知识卡片
DeepFM共享嵌入的两路
DeepFM 的结构可以理解为把 Wide & Deep 里的 LR 换成 FM:输入仍是按场分组的稀疏 one-hot 特征,先经过共享的嵌入层,把每个场压成 k 维稠密向量;随后分成两路。
FM 路:一阶项直接用原始稀疏特征加权求和,二阶项用嵌入向量做内积 ,权重固定为 1,只学嵌入本身。它负责低阶(一阶、二阶)交叉。DNN 路:把各场嵌入拼接后送入全连接隐层,负责高阶非线性交叉。两路结果相加后过 sigmoid 得到点击概率。
关键设计是共享嵌入:FM 与 DNN 用的是同一份 k 维向量。这带来两个好处:一是参数量只由场数 m 和维度 k 决定,不再随交叉阶数膨胀;二是低阶交叉的监督信号会通过共享嵌入传给 DNN,缓解高阶部分在稀疏数据下学不动的问题。
代价与边界:两路共用一个嵌入,目标相互耦合,一路的噪声会影响另一路; FM 与 DNN 同时训练,耗时仍然较长;此外 FM 路只到二阶,更高阶完全依赖 DNN,可解释性弱于显式交叉。
结构图:
flowchart TD
A[稀疏特征 按场分组] --> B[共享嵌入层 m×k]
B --> C[FM 一阶+二阶内积]
B --> D[拼接后送入隐层]
C --> E[相加]
D --> E
E --> F[sigmoid 输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
Deep FM可以看作是将Wide & Deep模型中LR模型换成了FM模型。Deep FM包含两部分:神经网络部分与因子分解机部分,分别负责高维特征的提取和低维特征的提取。这两部分共享同样的输入。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0117.html)
- 结论依据:原文给出 DeepFM 的两部分划分、各自负责的特征阶数以及共享同一输入这一结构特征,是理解其共享嵌入设计的基础。
- 原始内容:Deep FM可以看作是将Wide & Deep模型中LR模型换成了FM模型。Deep FM包含两部分:神经网络部分与因子分解机部分,分别负责高维特征的提取和低维特征的提取。这两部分共享同样的输入。