知识卡片
实时危机响应的监测前提
持续 ML 系统虽价值巨大,却有广泛系统级脆弱性:可以说继承了大型复杂软件系统的全部生产脆弱性(本身就带不少可靠性问题),又额外加了一整套能产生未定义或不可靠行为的问题,多数设定里不能依赖理论保证或正确性证明。这类问题出现时不仅要修、还要实时修或缓解,三个理由:模型很可能任务关键,影响有用预测的生产火灾会逐分钟冲击组织;模型可能与自己形成反馈回路,不快速处理则输入数据流也会被污染、之后还得费心修复;模型可能属于难以重置到已知状态的更大生态(与其他模型互相反馈,或糟糕预测造成难以撤销的持久伤害,如 chatbot 突然对用户口出恶言)。实时危机响应首先要能快速发现问题,因此判断「我们是否准备好做持续 ML」的一块组织试金石,就是监控与告警策略的完备性与及时性。由于流水线延迟与系统在新数据上渐进学习的慢变化,数据缺陷的完整下游危害可能要一段时间才显现,这让「用简单金丝雀指标对输入分布变化告警,而不是等模型输出变化」格外重要。而这些监控或变更策略只有在有人有责任在告警触发时响应才谈得上实时有效:运转良好的 MLOps 组织会为「告警必须多快被响应」定明确服务级别协议,用值班轮转确保对的人在对的时间看到告警(跨时区全球团队能大幅避免凌晨三点叫醒人),收到告警后还要有「任何 MLOps 成员都能执行」的文档齐备响应手册以及进一步升级路径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
This makes it especially important to have simple canary metrics that alert on changes to input distributions, rather than waiting for model outputs to change. Monitoring or altering strategies will be helpful in real time only if they are supported by folks who have the responsibility to respond when the alerts fire.