知识卡片
ML 缓解的天花板:无法恢复世界过去的快照
有些服务在准备修复时可以直接恢复旧版软件,依赖新功能的用户略受影响,其余人不受影响;ML 故障却只有部分情形能靠恢复旧模型缓解,因为模型的职责正是帮助计算机系统适应世界,而「世界过去的样子」没有快照可回滚。此外,快速训练新模型常常需要超出日常储备的算力,因此很多 ML 故障根本不存在零成本的快速缓解。故事二里选哪种缓解,最终要由最熟悉伙伴、用户与业务的产品/业务人员决定;这种向业务领导层的升级在非 ML 服务里偶发,在 ML 服务里却频繁得多,依赖 ML 承载关键业务的组织因此必须同时培养懂业务的技术负责人和懂技术的业务负责人。还有一个隐蔽难点:世界在修复期间持续变化,新模型上线时没有简单办法断言它「修好了」——只能看聚合指标是否回到此前量级,或用 golden set 增加信心,但 golden set 又需要持续维护才能代表真实查询分布。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Incident Response · 查看原书依据
ML outages can only sometimes be mitigated by restoring an older version of the model, because their job is to help computer systems adapt to the world, and there’s no way to restore a snapshot of the world as it used to be. Additionally, quickly training up new models often requires more computing capacity than we have available.