知识卡片
DIEN兴趣进化三层结构
DIEN在输入层、Embedding、连接层、多层全连接、输出的骨架中,核心创新是兴趣进化网络,分三层:行为序列层把id行为序列转成Embedding序列;兴趣抽取层用GRU模拟兴趣迁移、产出兴趣状态向量;兴趣进化层在GRU更新门上加入注意力得分形成AUGRU,沿与目标广告相关的路径推进兴趣演化。选择GRU是因为它解决RNN梯度消失且参数比LSTM少、收敛更快;再加进化层是因为综合电商用户会同时持有多个兴趣,买键盘时也看衣服,需按目标广告筛选出相关那条演化路径。工程上序列模型训练复杂度与线上串行推断延迟较大,上线需专门优化。
结构图:
flowchart TD
B[行为序列层 id序列转Embedding] --> E[兴趣抽取层 GRU]
E --> EV[兴趣进化层 AUGRU 加注意力]
AD[目标广告向量] -.注意力得分.-> EV
EV --> H[用户兴趣向量 h prime T]
H --> OUT[多层全连接与输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
相比传统的序列模型RNN(Recurrent Neural Network,循环神经网络)和LSTM (Long Short-Term Memory,长短期记忆网络),GRU解决了RNN的梯度消失问题
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_009.html)
- 结论依据:原文列出兴趣进化网络三层、GRU与AUGRU的选择理由,并指出序列模型的工程代价。
- 原始内容:相比传统的序列模型RNN(Recurrent Neural Network,循环神经网络)和LSTM (Long Short-Term Memory,长短期记忆网络),GRU解决了RNN的梯度消失问题