知识卡片

普通读书笔记卡 · 9820.h · 生成模型:DeepSeek-V4.1-Flash

三层评估各管什么

理解等级:中级

推荐系统的评估不是选一个指标,而是三层把关,每层的成本和可信度不同。

层次 做法 主要指标 局限
离线 拉线上数据在实验环境训练并评估 RMSE、MAE、准确率、召回率、AUC、nDCG;覆盖度、多样性、实时性能、鲁棒性 线上线下不一致,无法复制线上环境,量不到业务波动
在线 A/B 分流量对比新旧策略 服务响应时间、抗高并发能力、曝光/浏览/下单等转化率 需要真实流量与足够周期,实验成本高
主观 用户调研、问卷调查 满意度、可用性等定性反馈 结果受问卷设计、引导方式、样本范围与数量影响

顺序上的道理是:离线并行试多种模型最便宜,用来淘汰明显不合格的方案,只有全部指标过关才允许上线;在线用真实流量检验业务指标,因为离线 nDCG 涨了不代表下单率会涨;上线后再做主观评估,用来解释「指标没动但用户抱怨变多」这类在线实验捕捉不到的现象。

在线实验除 A/B 外还有 Interleaving:把两套策略的结果交错混排给同一批用户,看点击偏向哪一侧。它样本需求更小、误差率更低,但实现更复杂,且对部分指标缺乏预测能力——需要短期灵敏度时选它,需要长期业务结论时仍要回到 A/B。

参见 [[CTR预估为何决定扣费]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0160.html) - 结论依据:原文描述了 A/B 的分流与对比机制,并列出在线评估关注的响应时间、并发与转化指标,支撑三层评估的分工表。 - 原始内容:在线实验常用的方法是A/B实验,把旧策略下的流量分出一定的比例给新策略,通过一段时间的测试,根据制定好的业务指标对新旧策略进行比较。