知识卡片
回滚全部伙伴模型:先止血,再验证,再重建
面对影响面很大的伙伴推荐失效,团队没有等根因查清才行动:日志显示模型每天训练成功、二进制与特征都没变,但所有伙伴商品的预测值持续下滑,而团队恰好把历史训练模型留存数月。Sam 先问清「直接把旧模型加载进 serving」的后果——旧版本不含新商品与消费行为大变,但对存量商品的推荐行为可预期——在伙伴团队同意后把全部伙伴模型回滚到两周前(估计为影响开始之前)的版本,并快速核对聚合指标。此时故障是「已缓解但未解决」:常规流程还训不出好模型,系统很不稳定。随后数据抽取团队定位到伙伴键问题,Sam 先让单个伙伴重抽数据并重训,端到端验证转化数恢复、模型重新给出好推荐;再估算全量重抽与重训约需 72 小时,期间继续用旧模型服务、给伙伴发说明邮件;三天后逐一验证旧商品与新商品推荐、人工实搜实逛核对上架,才宣布关闭。作者顺带指出全量回滚是有风险的验证方式,更稳妥是先单模型试点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Incident Response · 查看原书依据
In consultation with the partner team, Sam rolls back all of the partner trained models to versions that were created two weeks earlier, since that seems to be before the impact of the outage began.
参考来源
- 位置:《Reliable Machine Learning》第11章《Incident Response》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch11.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:In consultation with the partner team, Sam rolls back all of the partner trained models to versions that were created two weeks earlier, since that seems to be before the impact of the outage began.