知识卡片
监控的三类信号
ML 监控分三类:①系统健康 / golden signals(延迟、流量、错误、饱和度)——与普通分布式系统无异;②基础模型健康 / 通用 ML 信号——不需理解模型内容即可监控(模型大小是否预期、能否无错加载);③模型质量 / 领域信号——最难,没有客观“够好”标准且多维,需产品与业务定真实指标,工程共同找最相关的质量度量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 监控与反馈循环
原书出处 · 1 处
- Introduction · 查看原书依据
Basic model health, or generic ML signals Checking on basic model health metrics is the ML equivalent of systems health: it is not particularly sophisticated, or tightly coupled to the domain, yet includes basic and representative facts about the modeling system.
参考来源
- 位置:《Reliable Machine Learning》第01章《Introduction》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch01.xhtml)
- 结论依据:原文将监控信号明确分为系统健康、基础模型健康、模型质量三类并比较其难度。
- 原始内容:Basic model health, or generic ML signals Checking on basic model health metrics is the ML equivalent of systems health: it is not particularly sophisticated, or tightly coupled to the domain, yet includes basic and representative facts about the modeling system.