知识卡片
三层评估各管什么
推荐系统的评估不是选一个指标,而是三层把关,每层的成本和可信度不同。
| 层次 | 做法 | 主要指标 | 局限 |
|---|---|---|---|
| 离线 | 拉线上数据在实验环境训练并评估 | RMSE、MAE、准确率、召回率、AUC、nDCG;覆盖度、多样性、实时性能、鲁棒性 | 线上线下不一致,无法复制线上环境,量不到业务波动 |
| 在线 | A/B 分流量对比新旧策略 | 服务响应时间、抗高并发能力、曝光/浏览/下单等转化率 | 需要真实流量与足够周期,实验成本高 |
| 主观 | 用户调研、问卷调查 | 满意度、可用性等定性反馈 | 结果受问卷设计、引导方式、样本范围与数量影响 |
顺序上的道理是:离线并行试多种模型最便宜,用来淘汰明显不合格的方案,只有全部指标过关才允许上线;在线用真实流量检验业务指标,因为离线 nDCG 涨了不代表下单率会涨;上线后再做主观评估,用来解释「指标没动但用户抱怨变多」这类在线实验捕捉不到的现象。
在线实验除 A/B 外还有 Interleaving:把两套策略的结果交错混排给同一批用户,看点击偏向哪一侧。它样本需求更小、误差率更低,但实现更复杂,且对部分指标缺乏预测能力——需要短期灵敏度时选它,需要长期业务结论时仍要回到 A/B。
参见 [[CTR预估为何决定扣费]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 推荐应用实战:基于广告的推荐 · 查看原书依据
在线实验常用的方法是A/B实验,把旧策略下的流量分出一定的比例给新策略,通过一段时间的测试,根据制定好的业务指标对新旧策略进行比较。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0160.html)
- 结论依据:原文描述了 A/B 的分流与对比机制,并列出在线评估关注的响应时间、并发与转化指标,支撑三层评估的分工表。
- 原始内容:在线实验常用的方法是A/B实验,把旧策略下的流量分出一定的比例给新策略,通过一段时间的测试,根据制定好的业务指标对新旧策略进行比较。