知识卡片
FiBiNET双线性交互层
FiBiNET 在 [[FiBiNET特征重要性]] 完成特征重赋权后,用“双线性交互层”替代普通 DNN 交叉。普通特征交叉多是内积或哈达玛积(逐元素乘),二者都偏简单,于是双线性结构额外引入一个参数矩阵 W 来学习交叉,并给出三种变体:
- 全域类型(Universal):所有特征对共享同一个 W∈R^{k×k},参数量最小;
- 单域类型(Field-Shared):每个特征各维护一个独立的 W∈R^{k×k},整体 W∈R^{f×k×k},表达更强;
- 域交互类型(Field-Specific):每对特征 都有专属 W_ij,参数量最大、最精细。
三种方式都是在“内积/哈达玛积”基础上加 W 做双线性变换得到交叉向量 p_ij。最后把 SENET 输出 q 与双线性输出 p 拼接,过一个浅层 DNN 得到深度 CTR 预估。双线性交互是对特征交叉表达力的增强,与 [[FM因子分解机稀疏交叉]] 的隐向量点积思路不同,它用显式参数矩阵刻画成对交互。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
3.结合层 得到了SENET-Like层的结果 q 和双线性交互层的结果 p ,再将它们拼接起来,通过一个浅层的DNN得到一个深度CTR预估模型
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/99.html;src-051)
- 结论依据:原文提出双线性交互结合内积与哈达玛积并引入参数矩阵 W,并定义全域、单域、域交互三种交叉方式及其参数规模差异。
- 原始内容:3.结合层 得到了SENET-Like层的结果 q 和双线性交互层的结果 p ,再将它们拼接起来,通过一个浅层的DNN得到一个深度CTR预估模型