知识卡片
负采样与CTR校正
为控制训练规模,Facebook实践了均匀采样与负采样两种降采样。均匀采样无差别抽样,实验发现10%频率下损失仅上升约1%,而1%时上升约9%,故选10%作为工程消耗与理论最优的平衡。负采样保留全量正样本、只降负样本,既提效又缓解正负样本失衡,经验取值0.0001到0.1,实测0.0250时损失甚至低于0.1。但负采样会使CTR预估值系统性漂移(真实0.1%经0.01采样会攀升到约10%),因此必须按 q=p/(p+w(1-p)) 校正,把预估期望拉回真实CTR。可迁移经验是:任何改变样本分布的处理,都要同步设计还原到真实分布的校正公式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
另一种方法负采样则保留全量正样本,对负样本进行降采样。除了提高训练效率,负采样还直接解决了正负样本不均衡的问题,Facebook经验性地选择了从0.0001到0.1的负采样频率
参考来源
- 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_001.html)
- 结论依据:原文给出10%与1%均匀采样的损失对比、0.0250负采样的效果,并说明负采样导致CTR漂移及需要校正。
- 原始内容:另一种方法负采样则保留全量正样本,对负样本进行降采样。除了提高训练效率,负采样还直接解决了正负样本不均衡的问题,Facebook经验性地选择了从0.0001到0.1的负采样频率