知识卡片
EBR负样本筛选与采样偏差
Facebook 的 EBR(Embedding-based Retrieval,2020)把“负样本怎么选”做成了经典课题。核心结论是:只用曝光未点击作负样本,效果远差于随机采样——因为真实召回场景里物料池绝大多数都是简单负样本,随机采样才能模拟这种分布;曝光未点击是困难负样本,只用它会让学到的 Embedding 偏离真实召回场景。
更有意思的是“难易搭配”:若直接用召回排序前 100 的最难负样本训练,模型反而连简单样本都分不清;改用排序 100~500 的中等难度负样本(随机采样)后效果明显提升。EBR 最终按 1:100 的难易比例,先困难后简单训练(反过来先简单后困难会变差)。
采样概率还要纠偏马太效应:正样本应多采“非热门”物料(用户点非热门更代表真实兴趣),负样本应多采“热门”物料(用户不点热门才代表真不感兴趣),负采样概率用出现次数的 0.75 次幂平滑。这整套逻辑说明:召回负样本选择的关键,是让训练分布与线上分布一致。关联 [[Youtube召回负采样]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
2.样本处理 (1)样本的选择 通过实验,EBF的作者发现 只取曝光未点击样本作为负样本的效果要远远差于随机采样的样本作为负样本 ,原因是负样本偏差:在真实的召回场景中,物料池中的绝大多数样本都是简单的负样本, 随机采样就可以模拟这种分布
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/67.html;src-043)
- 结论依据:原文通过实验比较曝光未点击、随机、困难、中等难度负样本的效果,并给出正负样本纠偏采样公式,支撑本卡。
- 原始内容:2.样本处理 (1)样本的选择 通过实验,EBF的作者发现 只取曝光未点击样本作为负样本的效果要远远差于随机采样的样本作为负样本 ,原因是负样本偏差:在真实的召回场景中,物料池中的绝大多数样本都是简单的负样本, 随机采样就可以模拟这种分布