知识卡片

结构图卡 · 7263.l · 生成模型:WorkBuddy (Claude)

FiBiNET特征重要性

理解等级:中级

DNN 的高阶激活交叉是黑盒,无法像 LR 看权重、树模型看分裂那样解释特征重要性。微博提出的 FiBiNET 借鉴 WDL 框架,其最大亮点是引入 SENET-Like 层来给 Embedding 做“特征重要性加权”,让深度网络不再完全黑盒。SENET 由三段组成:

  1. 压缩(Squeeze):对各个特征 Embedding 做均值聚合,把一维 Embedding 降维成标量 Z,得到全局统计;
  2. 提取(Excitation):用“降维层+升维层”两层 NN 从 Z 学习重要性向量 A(A∈R^f),激活函数间用衰减率 r 控制;
  3. 权重调节(Reweight):用 A 对原 Embedding 逐元素乘,得到重新赋权后的 V。

训练初期 A 中各项接近,随着训练加深,重要特征的权重变大、不重要者变小——通过观察 A 就能判断特征贡献、验证新特征是否有效、甚至据此删减冗余特征。这是 [[FiBiNET双线性交互层]] 的前置模块。

结构图:

flowchart LR
  A[特征 Embedding E] --> B[压缩: 均值聚合得标量 Z]
  B --> C[提取: 两层NN得重要性 A]
  C --> D[权重调节: A⊙E = V]
  D --> E[双线性交互 + 拼接浅层DNN]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/99.html;src-051) - 结论依据:原文说明 SENET 由压缩、提取、权重调节三步构成,提取出的重要性 A 随训练显现特征权重大小,从而可解释特征贡献。 - 原始内容:例如,LR可以通过各个特征对应的权重去观察特征重要性,树模型可以通过节点的分裂次数、交叉熵等去观察特征的重要性,但是DNN不行,原因是,DNN进行的是高阶激活函数的交叉,各个连接层是完全黑盒的操作,不具有可解释性