知识卡片
有无反馈回路:天气模型与推荐模型
持续 ML 系统最要紧的问题之一是:模型与它的训练数据之间是否存在反馈回路。所有训练过的模型都受流入训练数据的影响,但有些模型反过来也影响被采集的数据。有些系统对用于重训的数据流毫无影响,天气预报模型是好例子——不管气象站希望我们相信什么,预测明天是风和日丽的好天气并不会真的影响大气条件;这类系统「干净」在无反馈回路,我们改模型时不用担心会改变明天下雨的真实概率。另一些模型确实影响自身训练数据的采集,尤其是那些向用户做推荐、或决定会影响「接下来能学到什么」的动作的模型,于是形成隐式反馈回路;正如听过麦克风尖啸的人所知,反馈回路会制造意外且有害的效果。反馈回路也是分布漂移的一种形式,前述倾向性加权方法可有帮助但很难完全做对;把模型版本信息连同其他训练数据记录、并把版本作为特征喂给模型,能一定程度减弱影响——至少让模型有机会分辨观测数据的突变究竟来自真实世界(假期结束、一月初没人想买毛线)还是来自模型自身学到的状态变化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
Other models do influence the collection of their training data, especially when those models make recommendations to users or decide on actions that impact what they can learn about next. These create implicit feedback loops, and as anyone who has heard screeching feedback from a microphone knows, feedback loops can create unexpected and detrimental effects.