知识卡片
粗排样本偏差与负样本改进
粗排通常直接复用精排的曝光样本来训练,但这会带来样本偏差:能被看到的样本本身已经是精排筛选过的,负样本几乎全是”曝光未点击”,缺少真正困难的负例,模型学不到足够的区分边界。
业界针对负样本做了四类改进: 1. 在”曝光未点击”负样本之外,加入随机采样的负样本,扩充负例难度; 2. 用精排排名靠后、但未被曝光的样本作为负样本; 3. 对精排排好序的物料做 pairwise(成对)训练,把全局排序拆成相邻物料对的偏序关系来学; 4. 用精排靠前的样本作为正样本,强化高质量正例。
区别:方法 1–2 是在”样本构成”上补课,方法 3 是把 pointwise 改成 pairwise 的”训练目标”补课,方法 4 则调整正样本来源。四者可叠加使用。相关卡见 [[粗排层的缓冲层定位]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 粗排层的样本选择和模型选择 粗排层的样本选择和模型选择 · 查看原书依据
❑ 对精排的排序样本,采用pairwise(成对)训练,如经过精排打分后的物料的排序为{物料 1 >物料 2 >…>物料 n },那么我们可以将其转换为{[物料 1 >物料 2 ],[物料 2 >物料 7 ],[物料 7 >物料 14 ],[物料 14 >物料 28 ],…}的p
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《粗排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/121.html;src-055)
- 结论依据:原文指出粗排复用精排曝光样本存在偏差,并列举了随机负采样、精排后排未曝光样本、pairwise训练、精排靠前样本作正样本四种负样本改进方案。
- 原始内容:❑ 对精排的排序样本,采用pairwise(成对)训练,如经过精排打分后的物料的排序为{物料 1 >物料 2 >…>物料 n },那么我们可以将其转换为{[物料 1 >物料 2 ],[物料 2 >物料 7 ],[物料 7 >物料 14 ],[物料 14 >物料 28 ],…}的p