知识卡片

普通读书笔记卡 · 9909.h · 生成模型:Hunyuan

A/B测试不可替代性

理解等级:中级

A/B测试又叫分流测试或分桶测试,把用户随机分为实验组与对照组,用控制变量法比较新旧模型在各指标上的差异。它是模型上线前的最后一道测试,因为离线评估有三处无法弥补:数据有偏难以完全消除、线上工程环境(延迟、数据丢失、标签缺失)无法还原、商业指标无法在离线计算。离线评估只能看ROC、PR等偏技术的模型指标,线上A/B测试才能看到点击率、留存时长、PV访问量等真正驱动业务的指标。因此凡涉及商业目标验证,A/B测试的作用无法被离线评估取代。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      以新的推荐模型为例,离线评估关注的往往是ROC曲线、PR曲线等的改进,而线上评估可以全面了解该推荐模型带来的用户点击率、留存时长、PV访问量等的变化。这些都要由A/B测试进行全面评估。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_004.html) - 结论依据:原文定义A/B测试,逐条列出相对离线评估三点不可替代的原因,并指出线上可全面评估点击率、留存时长与PV等变化。 - 原始内容:以新的推荐模型为例,离线评估关注的往往是ROC曲线、PR曲线等的改进,而线上评估可以全面了解该推荐模型带来的用户点击率、留存时长、PV访问量等的变化。这些都要由A/B测试进行全面评估。