知识卡片
DIN目标感知的注意力网络
DIN是阿里巴巴面向电商广告CTR的模型,改进源于具体业务观察:基础模型把用户历史点击的商品序列做平均池化,既不区分重要程度,也不考虑候选广告。DIN利用候选商品与历史行为商品的相关性算出注意力权重,把固定的加和变成以候选广告为条件的加权和——预测键盘广告时,鼠标历史应比洗面奶获得更高权重。它的注意力激活单元以两个Embedding的元素减、原向量拼接后经全连接层输出得分,且同类信息才相互作用,商品id只对商品序列、商铺id只对商铺序列。相比AFM的学术改良,DIN更贴近业务,启发工程师从用户行为观察出发改进结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
利用候选商品和历史行为商品之间的相关性计算出一个权重,这个权重就代表了“注意力”的强弱,加入了注意力权重的深度学习网络就是DIN模型,其中注意力部分的形式化表达如(式3-16)所示。
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_008.html)
- 结论依据:原文描述DIN以候选商品与历史行为相关性计算注意力权重,并说明激活单元与同类信息作用方式。
- 原始内容:利用候选商品和历史行为商品之间的相关性计算出一个权重,这个权重就代表了“注意力”的强弱,加入了注意力权重的深度学习网络就是DIN模型,其中注意力部分的形式化表达如(式3-16)所示。