知识卡片
Youtube召回负采样
Youtube 召回模型(2016)在特征处理、负样本选择与损失上给出经典经验。负样本用全局随机负采样,而非“曝光未点击”。原因很关键:召回面对的是整个物料池,绝大多数物料根本没曝光过;曝光未点击样本其实已是各链路筛选后的“高质量难样本”,若用它当负样本,模型只学难样本、偏离线上全库分布,且曝光样本相对物料池太少。召回只需“快速判断哪些是负样本、找到可能为正的东西”,不需要学太难的样本——随机负样本才贴近线上分布,是对全库的近似模拟。
损失上选 Sampled Softmax 而非二元交叉熵(BCE)。BCE 只比较正负差距、每次只看一个样本正负,Embedding 相似度分布方差小、区分度低;Softmax 一次性横向比较正样本与多个负样本,告诉模型“正样本与这批负样本都不同”,训练出的 Embedding 区分度更大(相似度分布方差更大)。但二者效果差距不大,需按业务实验定。
另外 Youtube 还对物料 Embedding 用 Word2vec(CBOW/Skip-gram)预训练以增强语义;并用“视频年龄特征”消偏:训练时把上传时间长带来的额外热度当作特征输入,线上推理时把年龄统一置 0 以公平推新视频。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
4.Embedding预训练 Youtube召回模型还对物料Embedding进行了预训练,它采用了Word2vec的方式对用户观看序列和搜索tag进行了CBOW和Skip-gram的训练
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/67.html;src-043)
- 结论依据:原文论证曝光未点击不宜作负样本的原因,并对比 Sampled Softmax 与 BCE 在 Embedding 区分度上的差异,支撑本卡。
- 原始内容:4.Embedding预训练 Youtube召回模型还对物料Embedding进行了预训练,它采用了Word2vec的方式对用户观看序列和搜索tag进行了CBOW和Skip-gram的训练