知识卡片
FiBiNET特征重要性
DNN 的高阶激活交叉是黑盒,无法像 LR 看权重、树模型看分裂那样解释特征重要性。微博提出的 FiBiNET 借鉴 WDL 框架,其最大亮点是引入 SENET-Like 层来给 Embedding 做“特征重要性加权”,让深度网络不再完全黑盒。SENET 由三段组成:
- 压缩(Squeeze):对各个特征 Embedding 做均值聚合,把一维 Embedding 降维成标量 Z,得到全局统计;
- 提取(Excitation):用“降维层+升维层”两层 NN 从 Z 学习重要性向量 A(A∈R^f),激活函数间用衰减率 r 控制;
- 权重调节(Reweight):用 A 对原 Embedding 逐元素乘,得到重新赋权后的 V。
训练初期 A 中各项接近,随着训练加深,重要特征的权重变大、不重要者变小——通过观察 A 就能判断特征贡献、验证新特征是否有效、甚至据此删减冗余特征。这是 [[FiBiNET双线性交互层]] 的前置模块。
结构图:
flowchart LR
A[特征 Embedding E] --> B[压缩: 均值聚合得标量 Z]
B --> C[提取: 两层NN得重要性 A]
C --> D[权重调节: A⊙E = V]
D --> E[双线性交互 + 拼接浅层DNN]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
例如,LR可以通过各个特征对应的权重去观察特征重要性,树模型可以通过节点的分裂次数、交叉熵等去观察特征的重要性,但是DNN不行,原因是,DNN进行的是高阶激活函数的交叉,各个连接层是完全黑盒的操作,不具有可解释性
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/99.html;src-051)
- 结论依据:原文说明 SENET 由压缩、提取、权重调节三步构成,提取出的重要性 A 随训练显现特征权重大小,从而可解释特征贡献。
- 原始内容:例如,LR可以通过各个特征对应的权重去观察特征重要性,树模型可以通过节点的分裂次数、交叉熵等去观察特征的重要性,但是DNN不行,原因是,DNN进行的是高阶激活函数的交叉,各个连接层是完全黑盒的操作,不具有可解释性