知识卡片
DR深度检索模型
DR(Deep Retrieval,字节 2020)与 TDM 思路类似但用“路径矩阵”而非树:索引是一个 D 层、每层 K 节点的矩阵,只能从左到右走 D 步,共 K^D 种走法,每种走法代表一个簇/路径,也代表一批物料。每个物料可分配到 J 个路径(如 J=3),路径可交叉共享索引。
关键特点:1)输入只用用户信息(无物料信息),D 层各是一个 K 维 Softmax 的 MLP,每层输入是原始用户 Embedding 与前层输出拼接,所有用户共享中间网络;线上输入用户 id 即可自动找到相关簇,簇内物料作候选。2)推理用 Beam Search 每层选 B 条最大概率路径,合并 B 条路径物料,再用 Softmax/LR 重排。3)训练只用正样本、无负样本,且要同时学网络参数 θ 与“物料→路径映射 π”,用类 EM 算法:E-step 固定 π 优化 θ(每物料可映射到多条路径,加惩罚项防全挤同一路径),M-step 固定 θ 用坐标下降为每个物料选 J 条增益最大的路径(类似用点击用户聚类表达物料)。
DR 对长尾视频/用户友好(同路径内物料不可区分,允许检索不受欢迎物料),适合流训练,建检索结构比 HNSW 快得多。关联 [[TDM树召回模型]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 个性化召回层样本选择和模型选择 7.5 基于树网络的召回 · 查看原书依据
图7-35 DR结构图 1.路径概率计算 DR有 D 层网络,每一层都是一个 K 维Softmax的MLP,每一层的输入都是原始的用户Embedding与前面每一层的输出Embedding进行拼接
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/82.html;src-046)
- 结论依据:原文说明 DR 用路径矩阵、仅用户特征、EM 式训练(E-step 优化参数/M-step 优化路径映射)、长尾友好,支撑本卡。
- 原始内容:图7-35 DR结构图 1.路径概率计算 DR有 D 层网络,每一层都是一个 K 维Softmax的MLP,每一层的输入都是原始的用户Embedding与前面每一层的输出Embedding进行拼接