知识卡片
服务监控的模型-数据-服务三要素
生产中的服务监控兼具「观察生产系统」的全部困难与「弄清为何发生」的 ML 特有挑战。起步先问三件事:哪些是测我模型的好指标(随意加指标的习惯会无限膨胀直到信噪比被稀释)、模型是否如预期表现、若不如预期是为什么又如何解决。要选好指标必须先理解模型可能怎么失败——让模型成功需要三个组件同时正常:做出预测的模型;流入流出模型的数据(含用于预测的特征以及预测本身);以及真正渲染模型的服务(部署模型、提供推理,即最广义的基础设施)。每个组件都按预期工作模型才会成功,任一处失效都会冲击模型本要改善的整体业务 KPI,因此三层都必须测量才能有完整图景。模型层因服务中测性能比服务前难,作者倾向沿用训练/验证时相同的指标以增加「测的是同一件事」的信心;数据层后面展开为漂移与数据质量两条线;服务层则盯预测延迟与吞吐、错误、饱和度,与第 8 章的延迟预算和黄金四信号呼应。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Monitoring and Observability for Models · 查看原书依据
Three components are needed to make a model work successfully: Model The model making predictions. Data The data that is flowing in and out of the model. This includes the features that the model uses to make a prediction and the prediction itself.
参考来源
- 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:Three components are needed to make a model work successfully: Model The model making predictions. Data The data that is flowing in and out of the model. This includes the features that the model uses to make a prediction and the prediction itself.