知识卡片
精排采样校正公式
训练精排时,受资源、正负样本悬殊或数据量限制,常对训练集做欠采样(尤其是大量的负样本)。但采样后正负样本比和真实分布不一致,模型预估出的 CTR 会偏向采样后的分布,必须校正回原始分布。
校正公式的核心是两个量:w 是欠采样过程中负样本(多数类)的采样率,p_s 是模型预估的点击率。用 w 和 p_s 把预估值还原成”未采样前”的真实点击率期望,否则线上打分会被系统性高估或低估。
用途/边界:这套校正只在”训练集做过欠采样”时才需要;若训练用的是全量或正样本过采样,要换对应的校正形式。它和 [[COPC分箱诊断精排极限]] 互补——一个从分布层面修预估,一个从分箱层面查偏差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 重排层的设计与实现 10.1 精排数据分析 · 查看原书依据
校正公式通常如下: 式中: ❑ w 是欠采样过程中负样本(多类样本)的采样率
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第10章《精排数据分析》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/125.html;src-059)
- 结论依据:原文指出因资源/样本悬殊常对训练集采样,当采样正负比与原分布有差别时需对模型校正,并给出校正公式,其中w为欠采样负样本采样率、ps为模型预估CTR。
- 原始内容:校正公式通常如下: 式中: ❑ w 是欠采样过程中负样本(多类样本)的采样率