知识卡片
五种基本即时响应与策略选择
作者给出持续 ML 系统面对任何危机的一组基本即时响应:停止训练、回退(fall back)、回滚(roll back)、移除坏数据、穿过(roll through);并非每次危机都需要全部步骤,选哪种取决于问题严重度与诊断、治愈根因的速度。停止训练对应「挖洞第一法则:发现自己在洞里就别再挖」——发现数据流被坏模型、故障或代码 bug 污染时,停下训练并停止向服务推新版本是有用的短期响应,至少保证问题不恶化;应让 MLOps 对任一负责模型都能便捷停训,自动化有帮助但必须充分告警(否则会三周后才发现模型早已悄悄停训),最好有手动「大红按钮」。回退指备一个能提供可接受(哪怕非最优)结果的替代策略:更简单的非持续训练模型、最常见响应查找表、甚至对所有查询返回中位数预测的小函数;关键是系统「着火」时有超可靠临时替代,通常是短期响应。回滚把系统恢复到危机前状态:根因若是最近引入的坏代码,就回滚生产二进制到已知良好版本(同样要分阶段放量,并常备完整编译的旧二进制);若是被坏数据训练坏了,就回滚模型版本到此前已知良好 checkpoint(如黑色星期五欺诈检测误判全部购买无效,回滚到一周前 checkpoint 先服务合理预测)。移除坏数据要有便捷手段,否则回滚模型随时间前向训练时会再次被污染;当数据极不具代表性、根因暂时(外部事件或可快速修的 bug)时尤其有用。穿过指停训后重新启用训练,通常在坏数据已移除、bug 已处理之后;但若危机由外部世界事件引起,有时最好的响应就是让模型在这批非典型数据上训练、待事件结束自行恢复——毕竟世界上几乎没有哪天不存在某处的政治事件、重大赛事或灾难,让模型对不同全球区域的这类数据有足够暴露,恰是保证总体鲁棒性的重要方式。选择哪种要观察模型对相似历史事件的反应(最容易是按时间顺序在历史数据上训练),并判断当前危机指标究竟来自坏模型还是世界的非典型状态,即「模型坏了,还是它此刻被要求处理难得多的请求」;判据之一是频繁周期性重算黄金集离线指标——若模型确实损坏,黄金集结果会明显下降,此时穿过多半不对。组织上,危机发生时不是学新技能、理清角色、决定如何实现响应策略的时机;像消防员定期一起训练、打磨最佳实践、确保装备随时可用一样,建立有效危机响应团队本身就是创建与维护持续 ML 系统成本的一部分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
Tip For continuous ML systems, we have a set of basic immediate responses to any given crisis. These are stop training, fall back, roll back, remove bad data, and roll through. Not every crisis needs all of these steps, and the choice of which response is most appropriate depends on the severity of the issue and the speed with which we are able to diagnose and cure the root-cause issue.