知识卡片
A/B实验为何与离线背离
在线评估的通用做法是 A/B 实验:新系统与老系统同时在线、分配不同流量,在一段时间内对比同级别的核心指标。
分流的关键是随机且同质——两组用户构成、时段、入口尽量一致,差异才能归因于策略;同时要跑满完整周期,让样本量足以把真实差异从随机波动里分出来,样本不足时小幅提升会被噪声淹没。中途看数就下结论是最常见的错误。
在线要看两段: 1)服务段:响应时间(一般控制在 200ms 以内)、稳定性、抗高并发能力。上线前压测,必要时用缓存提升并发,用分流、限流、降级兜住峰值。 2)业务段:用户行为漏斗,从曝光到点击到转化逐层看转化率,再看购买率、人均停留时长、人均阅读次数,最后落到留存与收入。
为什么它能推翻离线结论:线上才有真实反馈、真实的坑位竞争和用户的长期反应,而这些恰恰是离线拿不到的。反过来,线上指标变好也未必说明模型更好——可能是新奇效应或分流不均。
边界:A/B 的花费是真实流量,算法迭代速度超过流量供给时会成为瓶颈。[[离线评估算不出商业结果]]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 推荐系统的评价 · 查看原书依据
现在,业界通用的在线评估方式是A/B实验,即新系统与老系统同时在线并分配不同的流量,在一段时间内对比同级别的核心指标,以确定新旧系统的优劣。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0127.html)
- 结论依据:原文给出 A/B 的定义要素——同时在线、分配不同流量、一段时间内比同级指标,正是「分流要同质、观察要跑满周期」的出发点。
- 原始内容:现在,业界通用的在线评估方式是A/B实验,即新系统与老系统同时在线并分配不同的流量,在一段时间内对比同级别的核心指标,以确定新旧系统的优劣。