知识卡片
IID 警告与外部事件的不可预知性
看一个常用类或对象的 API(C++ 标准库 vector、Python 字典)时,文档里通常不会有一行刺眼的「警告:世界杯期间行为未定义」——谢天谢地不必有。相反,持续 ML 系统应该有、或本就应该有这种形式的警告:生产中模型输入分布的任何变化都可能引起反复无常或不可预测的系统行为,因为多数 ML 模型的理论保证真的只在 IID(独立同分布)设定下成立。变化来源可能极其多样且出人意料:体育赛事、选举夜、自然灾害、夏令时、坏天气、好天气、交通事故、网络中断、大流行、新产品发布,全都是数据流进而系统行为的潜在变化源;而且对这些事件本身我们往往几乎没有预警,尽管第 9 章的监控策略有助于想清需要怎样的即时告警。要完全鲁棒于分布漂移,理论上得自适应地给训练数据加权使其分布不依赖世界变化:建倾向性打分模型估计某样本在某时刻出现在训练数据里的可能性,再用其倒数加权让稀有样本权重更大;分数必须更新足够快、所有样本分数非零以免除零、还要避免分数过小让少数样本权重爆炸。封顶权重会引入偏差,广泛随机化又会把用户暴露给随机或无关数据、或让模型建议不合适的随机动作。总之理论上可能、实践上极难;现实是我们更可能得学会管理分布漂移带来的不稳定,而不是彻底解决它。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
It could read something like this: Warning Any change in input distributions to the model in production may cause erratic or unpredictable system behavior, because the theoretical guarantees for most ML models really hold for only the IID setting.3 The sources of such changes may be incredibly varied and unexpected.