知识卡片
阿里推荐模型四阶段进化
阿里的深度学习推荐模型沿着更精细理解用户兴趣这条主线迭代四个阶段。基础模型用Embedding加MLP,对用户行为历史简单加和池化,对不同行为一视同仁。DIN用注意力机制替换Sum Pooling,按候选商品与历史行为的关系给每个行为动态加权。DIEN进一步用序列模型抽取并模拟用户兴趣随时间的演化,获得预测下一次购买的能力。MIMN把兴趣拆成多个通道分别建模,生成各通道记忆向量再经注意力作用于MLP,避免不同兴趣互相干扰。每次迭代都是基于前序模型的微创新而非推倒重建,这是成熟团队高效迭代的典型方式。
结构图:
flowchart LR
A[基础模型 Embedding加MLP 加和池化] --> B[DIN 注意力加权]
B --> C[DIEN 序列模型 兴趣演化]
C --> D[MIMN 多兴趣通道 记忆向量]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
在DIEN的基础上,将用户的兴趣细分为不同兴趣通道,进一步模拟用户在不同兴趣通道上的演化过程,生成不同兴趣通道的记忆向量,再利用注意力机制作用于多层神经网络
参考来源
- 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_004.html)
- 结论依据:原文按基础模型、DIN、DIEN、MIMN四阶段串联阿里模型演化,并指出进化重点在用户历史行为与兴趣的精细化建模。
- 原始内容:在DIEN的基础上,将用户的兴趣细分为不同兴趣通道,进一步模拟用户在不同兴趣通道上的演化过程,生成不同兴趣通道的记忆向量,再利用注意力机制作用于多层神经网络