← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7263.m · 生成模型:WorkBuddy (Claude)

FiBiNET双线性交互层

理解等级:高级

FiBiNET 在 [[FiBiNET特征重要性]] 完成特征重赋权后,用“双线性交互层”替代普通 DNN 交叉。普通特征交叉多是内积或哈达玛积(逐元素乘),二者都偏简单,于是双线性结构额外引入一个参数矩阵 W 来学习交叉,并给出三种变体:

  • 全域类型(Universal):所有特征对共享同一个 W∈R^{k×k},参数量最小;
  • 单域类型(Field-Shared):每个特征各维护一个独立的 W∈R^{k×k},整体 W∈R^{f×k×k},表达更强;
  • 域交互类型(Field-Specific):每对特征 都有专属 W_ij,参数量最大、最精细。

三种方式都是在“内积/哈达玛积”基础上加 W 做双线性变换得到交叉向量 p_ij。最后把 SENET 输出 q 与双线性输出 p 拼接,过一个浅层 DNN 得到深度 CTR 预估。双线性交互是对特征交叉表达力的增强,与 [[FM因子分解机稀疏交叉]] 的隐向量点积思路不同,它用显式参数矩阵刻画成对交互。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/99.html;src-051) - 结论依据:原文提出双线性交互结合内积与哈达玛积并引入参数矩阵 W,并定义全域、单域、域交互三种交叉方式及其参数规模差异。 - 原始内容:3.结合层 得到了SENET-Like层的结果 q 和双线性交互层的结果 p ,再将它们拼接起来,通过一个浅层的DNN得到一个深度CTR预估模型