知识卡片
DIN注意力局部激活
DIN(Deep Interest Network,阿里妈妈)针对用户行为序列建模,基于两个观察:一是“多样性”(一段时间内兴趣多元),二是“局部激活”(只有部分历史行为对当前点击起作用)。例如用户买手机套前浏览过水果、窗帘等,但真正起作用的还是手机、笔记本。
传统序列模型先把行为 ID Embedding 直接聚合再接 MLP;DIN 则加入 attention:用一个 activation 单元计算“历史每个行为物料 v_i”与“待推荐物料 v_a”的相关性权重 w_i,再对历史 Embedding 做加权 sum-pooling 得到用户兴趣表示 V_u = Σw_i·v_i,最后送入 MLP 输出 CTR。这样 MLP 在当前候选下知道该“局部激活”哪些兴趣。DIN 建模简单、落地成本低、效果明显优于 DNN,是序列模型里性价比最高的;但它只关注相似兴趣,不刻画兴趣随时间迁移,这点由 [[DIEN兴趣进化与AUGRU]] 补足。
结构图:
flowchart LR
A[用户行为序列 Embedding v_i] --> B[Activation Unit: 与候选 v_a 算注意力 w_i]
E[候选物料 Embedding v_a] --> B
B --> C[加权 sum-pooling 得兴趣表示 V_u]
C --> D[MLP → CTR]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.6 序列建模 · 查看原书依据
图8-30 传统序列模型 而DIN的做法是对序列ID Embedding加入attention的操作,这一步等于告诉了MLP在当前的待推荐的物料下,用户的哪些兴趣该被局部激活,具体结构如图8-31所示
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/109.html;src-053)
- 结论依据:原文点明 DIN 基于多样性与局部激活两大现象,用 activation 单元算注意力权重对历史 Embedding 加权 sum-pooling,并指出其性价比高但只关注相似兴趣。
- 原始内容:图8-30 传统序列模型 而DIN的做法是对序列ID Embedding加入attention的操作,这一步等于告诉了MLP在当前的待推荐的物料下,用户的哪些兴趣该被局部激活,具体结构如图8-31所示