← 返回刚才阅读的位置

知识卡片

结构图卡 · 7263.v · 生成模型:WorkBuddy (Claude)

DIN注意力局部激活

理解等级:中级

DIN(Deep Interest Network,阿里妈妈)针对用户行为序列建模,基于两个观察:一是“多样性”(一段时间内兴趣多元),二是“局部激活”(只有部分历史行为对当前点击起作用)。例如用户买手机套前浏览过水果、窗帘等,但真正起作用的还是手机、笔记本。

传统序列模型先把行为 ID Embedding 直接聚合再接 MLP;DIN 则加入 attention:用一个 activation 单元计算“历史每个行为物料 v_i”与“待推荐物料 v_a”的相关性权重 w_i,再对历史 Embedding 做加权 sum-pooling 得到用户兴趣表示 V_u = Σw_i·v_i,最后送入 MLP 输出 CTR。这样 MLP 在当前候选下知道该“局部激活”哪些兴趣。DIN 建模简单、落地成本低、效果明显优于 DNN,是序列模型里性价比最高的;但它只关注相似兴趣,不刻画兴趣随时间迁移,这点由 [[DIEN兴趣进化与AUGRU]] 补足。

结构图:

flowchart LR
  A[用户行为序列 Embedding v_i] --> B[Activation Unit: 与候选 v_a 算注意力 w_i]
  E[候选物料 Embedding v_a] --> B
  B --> C[加权 sum-pooling 得兴趣表示 V_u]
  C --> D[MLP → CTR]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/109.html;src-053) - 结论依据:原文点明 DIN 基于多样性与局部激活两大现象,用 activation 单元算注意力权重对历史 Embedding 加权 sum-pooling,并指出其性价比高但只关注相似兴趣。 - 原始内容:图8-30 传统序列模型 而DIN的做法是对序列ID Embedding加入attention的操作,这一步等于告诉了MLP在当前的待推荐的物料下,用户的哪些兴趣该被局部激活,具体结构如图8-31所示