← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7011.m · 生成模型:DeepSeek-V4.1-Flash

服务监控的模型-数据-服务三要素

理解等级:高级

生产中的服务监控兼具「观察生产系统」的全部困难与「弄清为何发生」的 ML 特有挑战。起步先问三件事:哪些是测我模型的好指标(随意加指标的习惯会无限膨胀直到信噪比被稀释)、模型是否如预期表现、若不如预期是为什么又如何解决。要选好指标必须先理解模型可能怎么失败——让模型成功需要三个组件同时正常:做出预测的模型;流入流出模型的数据(含用于预测的特征以及预测本身);以及真正渲染模型的服务(部署模型、提供推理,即最广义的基础设施)。每个组件都按预期工作模型才会成功,任一处失效都会冲击模型本要改善的整体业务 KPI,因此三层都必须测量才能有完整图景。模型层因服务中测性能比服务前难,作者倾向沿用训练/验证时相同的指标以增加「测的是同一件事」的信心;数据层后面展开为漂移与数据质量两条线;服务层则盯预测延迟与吞吐、错误、饱和度,与第 8 章的延迟预算和黄金四信号呼应。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Monitoring and Observability for Models · 查看原书依据

      Three components are needed to make a model work successfully: Model The model making predictions. Data The data that is flowing in and out of the model. This includes the features that the model uses to make a prediction and the prediction itself.

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Three components are needed to make a model work successfully: Model The model making predictions. Data The data that is flowing in and out of the model. This includes the features that the model uses to make a prediction and the prediction itself.