← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7264.a · 生成模型:WorkBuddy (Claude)

粗排样本偏差与负样本改进

理解等级:中级

粗排通常直接复用精排的曝光样本来训练,但这会带来样本偏差:能被看到的样本本身已经是精排筛选过的,负样本几乎全是”曝光未点击”,缺少真正困难的负例,模型学不到足够的区分边界。

业界针对负样本做了四类改进: 1. 在”曝光未点击”负样本之外,加入随机采样的负样本,扩充负例难度; 2. 用精排排名靠后、但未被曝光的样本作为负样本; 3. 对精排排好序的物料做 pairwise(成对)训练,把全局排序拆成相邻物料对的偏序关系来学; 4. 用精排靠前的样本作为正样本,强化高质量正例。

区别:方法 1–2 是在”样本构成”上补课,方法 3 是把 pointwise 改成 pairwise 的”训练目标”补课,方法 4 则调整正样本来源。四者可叠加使用。相关卡见 [[粗排层的缓冲层定位]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《粗排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/121.html;src-055) - 结论依据:原文指出粗排复用精排曝光样本存在偏差,并列举了随机负采样、精排后排未曝光样本、pairwise训练、精排靠前样本作正样本四种负样本改进方案。 - 原始内容:❑ 对精排的排序样本,采用pairwise(成对)训练,如经过精排打分后的物料的排序为{物料 1 >物料 2 >…>物料 n },那么我们可以将其转换为{[物料 1 >物料 2 ],[物料 2 >物料 7 ],[物料 7 >物料 14 ],[物料 14 >物料 28 ],…}的p