知识卡片
NFM特征交叉池化层
FM受组合爆炸限制基本只能做二阶交叉,NFM的目标是借用深度网络更强的表达能力改进它:用一个神经网络函数替代FM里二阶隐向量内积的部分。具体做法是在Embedding层和多层神经网络之间插入特征交叉池化层,先对各特征Embedding两两做元素积,再把交叉向量求和后送入上层全连接网络继续交叉。如果把NFM的一阶线性部分视作Wide,它也能被看成Wide&Deep的进化——在Deep侧加入交叉池化层强化特征交叉。这代表一类通用思路:当传统模型受限于固定阶数时,把其核心计算交给可学习的深度网络端到端拟合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
在进行两两Embedding向量的元素积操作后,对交叉特征向量取和,得到池化层的输出向量。再把该向量输入上层的多层全连接神经网络,进行进一步的交叉。
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_007.html)
- 结论依据:原文说明NFM用神经网络替代FM二阶部分,并在Embedding与多层网络间加入特征交叉池化层。
- 原始内容:在进行两两Embedding向量的元素积操作后,对交叉特征向量取和,得到池化层的输出向量。再把该向量输入上层的多层全连接神经网络,进行进一步的交叉。