← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9817.i · 生成模型:DeepSeek-V4.1-Flash

A/B实验为何与离线背离

理解等级:高级

在线评估的通用做法是 A/B 实验:新系统与老系统同时在线、分配不同流量,在一段时间内对比同级别的核心指标。

分流的关键是随机且同质——两组用户构成、时段、入口尽量一致,差异才能归因于策略;同时要跑满完整周期,让样本量足以把真实差异从随机波动里分出来,样本不足时小幅提升会被噪声淹没。中途看数就下结论是最常见的错误。

在线要看两段: 1)服务段:响应时间(一般控制在 200ms 以内)、稳定性、抗高并发能力。上线前压测,必要时用缓存提升并发,用分流、限流、降级兜住峰值。 2)业务段:用户行为漏斗,从曝光到点击到转化逐层看转化率,再看购买率、人均停留时长、人均阅读次数,最后落到留存与收入。

为什么它能推翻离线结论:线上才有真实反馈、真实的坑位竞争和用户的长期反应,而这些恰恰是离线拿不到的。反过来,线上指标变好也未必说明模型更好——可能是新奇效应或分流不均。

边界:A/B 的花费是真实流量,算法迭代速度超过流量供给时会成为瓶颈。[[离线评估算不出商业结果]]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 推荐系统的评价 · 查看原书依据

      现在,业界通用的在线评估方式是A/B实验,即新系统与老系统同时在线并分配不同的流量,在一段时间内对比同级别的核心指标,以确定新旧系统的优劣。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0127.html) - 结论依据:原文给出 A/B 的定义要素——同时在线、分配不同流量、一段时间内比同级指标,正是「分流要同质、观察要跑满周期」的出发点。 - 原始内容:现在,业界通用的在线评估方式是A/B实验,即新系统与老系统同时在线并分配不同的流量,在一段时间内对比同级别的核心指标,以确定新旧系统的优劣。