知识卡片
每日重训与 golden set 的「稳定得可疑」
故事一的关键线索不是错误率上升,而是「过于一致」。搜索排序模型每天用前一天的搜索与点击重训一次,以便跟上新偏好与新商品,这会让团队每日用固定查询跑的 golden set 结果产生合理范围内的小幅不稳定;但过去三周 golden set 结果稳定得反常。查线上模型,果然是三周前的版本、此后没更新过——既解释了 golden set 的稳定,也解释了用户点击行为下滑:新偏好、新商品的好结果越推越少,若一直用陈旧模型,最终会无法正确推荐任何新东西。这里的排障思维值得记住:模型系统里「没有变化」本身就是强异常信号,稳定性有时恰恰是管线静默停摆的证据。作者据此把「监控 golden set 并同时对『长期不变』和『变化过大』告警」列进复盘清单,同时监控线上模型年龄与训练完成率,让下次不必等三周、等用户点击率掉到 54% 才发现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Incident Response · 查看原书依据
The search model is normally updated daily by retraining the same model on searches and resulting clicks from the previous day. This helps keep the model updated with new preferences and new products.
参考来源
- 位置:《Reliable Machine Learning》第11章《Incident Response》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch11.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:The search model is normally updated daily by retraining the same model on searches and resulting clicks from the previous day. This helps keep the model updated with new preferences and new products.