← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7265.b · 生成模型:WorkBuddy (Claude)

精排采样校正公式

理解等级:中级

训练精排时,受资源、正负样本悬殊或数据量限制,常对训练集做欠采样(尤其是大量的负样本)。但采样后正负样本比和真实分布不一致,模型预估出的 CTR 会偏向采样后的分布,必须校正回原始分布。

校正公式的核心是两个量:w 是欠采样过程中负样本(多数类)的采样率,p_s 是模型预估的点击率。用 w 和 p_s 把预估值还原成”未采样前”的真实点击率期望,否则线上打分会被系统性高估或低估。

用途/边界:这套校正只在”训练集做过欠采样”时才需要;若训练用的是全量或正样本过采样,要换对应的校正形式。它和 [[COPC分箱诊断精排极限]] 互补——一个从分布层面修预估,一个从分箱层面查偏差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第10章《精排数据分析》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/125.html;src-059) - 结论依据:原文指出因资源/样本悬殊常对训练集采样,当采样正负比与原分布有差别时需对模型校正,并给出校正公式,其中w为欠采样负样本采样率、ps为模型预估CTR。 - 原始内容:校正公式通常如下: 式中: ❑ w 是欠采样过程中负样本(多类样本)的采样率