知识卡片
棕羊毛事件:反馈螺旋与过度解释风险
作者用 yarnit.ai 演示外部事件能造成什么:某重要政治人物在严寒天戴着手工编织的棕色羊毛连指手套上了全国电视,「棕色羊毛」的搜索与购买骤增;延迟片刻后模型在这批新数据上更新,学会给棕羊毛商品打很高分,SGD 又使其过度自信、分数极高,于是这些商品几乎展示给所有用户并迅速售罄。售罄后再无购买,但几乎所有搜索仍因高分展示棕羊毛商品;下一批数据显示没有用户购买任何商品,模型过度补偿,又因棕羊毛产品曾在极广的查询与用户上被展示,模型学会给几乎所有商品打低分,导致所有查询无结果或只有垃圾结果——这反过来强化「没人买任何东西」的趋势,系统螺旋下滑,直到 MLOps 团队定位问题、把模型回滚到此前表现良好的版本、并从训练数据存储中过滤掉异常数据后重新启用训练。这个例子可在多个层级设修复与监控,却说明系统动态会带来难以事先预见的后果。一个微妙危险是:知道各种世界事件都能引起意外行为后,我们可能过快地「解释掉」观测指标或监控的变化——知道今天阿根廷对巴西有重要比赛,就假定这是系统不稳定的根因,从而漏掉排查流水线错误或其他系统 bug。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
Once all stock is sold out, no more purchases are made, but nearly all searches are still showing brown wool products because of their high score from our model.
参考来源
- 位置:《Reliable Machine Learning》第10章《Continuous ML》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch10.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:Once all stock is sold out, no more purchases are made, but nearly all searches are still showing brown wool products because of their high score from our model.