知识卡片
A/B 的相互污染与四类稳定基线
因离线测试与验证的局限,新模型发布总带不确定性,尤其当模型处在反馈回路里:既往训练数据多半由旧版本挑选,离线评估被局限在「基于旧模型动作或推荐采集到的数据」上。作者用驾校学员比喻——先坐副驾驶对教练的操作发表意见,即便 100% 认同,也不代表第一次自己握方向盘不会做糟糕决定。因此发布要把生产测试作为最终验证,通常用分阶段放量:先只让新模型服务一小部分数据,随时间观察到良好表现才逐步增加,即 A/B 测试,验证新模型在最终业务指标(可能不同于准确率等离线指标)上的表现。但科学实验里 A 与 B 独立互不影响,而持续 ML 的 A/B 在反馈回路里可能彼此影响:新模型 A 擅长推荐有机羊毛,A 产生的训练数据含大量有机羊毛推荐与购买,持续更新的 B 也会学到这些商品受喜欢而开始推荐,两模型随时间趋同;效应更弥散时难说清 A 的优势消失是本不比 B 好还是 B 自己也变好了。限制 A、B 各只用自己服务的数据训练只在双方服务量相同(各 50%)时好用,否则 A 早期差究竟是模型差还是只有 1% 训练数据而 B 有 99% 说不清。另一策略是造稳定基线:不受 A 或 B 影响、被允许服务一定流量的模型 C,看 (A−C) 对 (B−C) 而非直接 A 对 B,好判断比较变化是 A 变差、B 变好还是两者一起变差。四类基线各有利弊:不涉及持续重训的回退策略作基线(质量不比主模型差太多时好用,差距太大则统计噪声淹没比较);停训器(复制生产模型 B 并停止训练,按定义不受 A、B 未来行为影响,服务小流量即得 C,但整体性能随时间缓慢退化,宜先做独立实验观察幅度);延迟训练器(跑一个持续更新但延迟两周的副本,相对不太退化,缺点是运行到与延迟相等时长后开始受 A、B 影响,两周延迟模型两周后失效);平行宇宙模型(严格独立且无保质期,只服务一小部分数据、且只从自己服务的数据学习,A 与 B 不在这份数据上训练,保持数据宇宙完全分离),当「把 B 放进生产」本身改变整体生态时,A 与 B 可能都大幅上移或下移中位预测而 A−B 看似稳定,第三个点 C 才能判断变化是模型自身差异还是更广泛影响;它因训练数据受限与分布漂移常需一段时间稳定,之后能提供独立评估点(仍受统计噪声限制)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
A stable baseline is a model C that is not influenced by either A or B, and is allowed to serve a certain amount of traffic so that we can use those results as a comparison. The basic idea is to then look at (A-C) against (B-C) rather than A against B directly, with the idea that this will allow us to see any changes more clearly.