知识卡片

结构图卡 · 7262.l · 生成模型:WorkBuddy (Claude)

MIND多兴趣召回模型

理解等级:高级

MIND(Multi-Interest Network with Dynamic Routing,天猫)针对“用户兴趣多样、单一 Embedding 表达不足”的问题,用动态路由(胶囊网络)从用户点击序列里挖出多个兴趣向量,再用多个向量并行召回。

两个创新:1)多兴趣提取层,用动态路由把点击序列(下层胶囊)聚类成若干兴趣向量(上层胶囊);胶囊向量“方向表特征、长度表概率”,产生多个 Embedding 即多个兴趣表达,相当于集成学习。MIND 对胶囊做了三处改造:共享双线性映射矩阵(保证兴趣向量同空间)、高斯初始化兴趣中心、按点击序列长度动态调节兴趣数 K’(行为多则兴趣多)。2)标签注意力层,把目标物料 Embedding 当 Q、兴趣向量当 K/V 做 Attention:参数 p=0 取平均,p 大则偏向最相关兴趣,p 无穷大即选最相关兴趣,实验发现 p 较大收敛更快。

训练用 Sampled Softmax + LogLoss,线上用最近邻检索近似 Top-k。适合物料库大、交互多的场景。关联 [[双塔召回动机与DSSM结构]]。

结构图:

flowchart TD
A[用户点击序列Embedding] --> B[多兴趣提取层-动态路由胶囊网络]
B --> C[多个用户兴趣向量]
C --> D[标签注意力层-目标物料为Q做Attention]
D --> E[单一用户向量]
E --> F[Sampled Softmax训练+近邻检索Topk]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/67.html;src-043) - 结论依据:原文说明 MIND 用动态路由聚类出多兴趣向量、标签注意力层作用及 p 参数含义,支撑本卡。 - 原始内容:7.2.5 MIND模型 在《在天猫上的基于动态路由的多兴趣网络》( Multi-Interest Network with Dynamic Routing ( MIND ) for Recommendation at Tmall )一文中提出了基于用户点击序列的召回模型(MIN