知识卡片

操作参考卡 · 7011.q · 生成模型:DeepSeek-V4.1-Flash

数据质量、SLO、黄金四信号与总体策略

理解等级:高级

数据质量针对结构性硬故障:类别流可能出现基数突变(宠物食品模型忽然只见猫,于是只进猫粮),或返回不在合法类别内的值——期望字符串却来浮点数、期望小写州名却来大写 CA、第三方 schema 错位一位让特征互相拿了别人的值,以及普遍且棘手的缺失数据(生产里可抛非致命错误,否则会把偶发抖动变成全机队死亡;也可用历史最常见类别或由现有值预测的插补,但没有完美方案)。数值流另有远离历史范围的异常值、类型不匹配(温度位来了类别值,被默认转成一个语义全失却看似合法、极难追查的数)、以及不改类型却改语义(总量计数器突然变成增量,可能长期不被发现),但序列的顺序与跨度让均值/中位数等聚合插补成为可能(如毛线克重)。面对数十万维特征向量与频繁变动的 schema,最重要检查可归纳为:类别看基数/缺失/类型/数据量,数值看越界/缺失/类型/移动均值。服务层要监控预测延迟,从模型级(减层数、树深度、无用部分;BERT 比前馈慢、树比深度学习快,需在效果与运维约束间权衡)与服务级(输入特征查找分静态与实时计算,监控其查找与变换定位延迟;把热门推荐等预计算存进低延迟读库,用离线批量打分提前做完重活)分别优化。其他关切:ML 的 SLO 应覆盖数据及分布/新鲜度,且分类器置信度 0.0–1.0 时「可用」含义模糊,故 SLO 至少含质量或置信度阈值,而最好落在它要交付的业务目标而非 ML 系统性能上;模型多或变更频繁时可由 SRE 提供自助基础设施,让 ML 工程师按模型/模型类对照黄金数据集定义并执行 SLO;99.5% 以上严苛 SLO 靠人工守不住,需自动系统与人协同(ML 场景应谨慎)。跨服务要做分布式追踪(可参考 OpenTelemetry)、理解延迟分布并做请求采样、以及超大规模监控的告警去重、目标近似均分与「监控监控者」——去重或许最关键,否则一次严重故障会收到 N 倍页。公平与隐私:监控要提供对模型决策的可见性同时不提供不恰当的可见性;生产仪表盘默认展示喂给它的信息,若监控栈暴露 PII,即便看板访问者本无权访问生产数据也会看到,应在第一聚合点出口就彻底匿名化并做隐私评审,或按不同入口分级剥离(只控看板访问更省事但并非强控制点)。高层策略:有近实时实际值就优先盯模型/KPI 性能,否则用含基础设施在内的局部来源拼图;至少跟踪模型性能统计,并留意「无法出预测、置信度骤降、算法回退被异常频繁调用」;持续算并展示 PSI/KL/Wasserstein 等输入分布度量;跟踪缺失数据、类型不匹配、语料规模;服务侧先用 SRE 四个黄金信号(延迟、流量、错误、饱和度)起步,追求 goodput。告警只对「该告警的」指标设好阈值,否则人会被与客户体验几乎无关的告警淹没;训练是批/流式,构建可能耗时数分钟到数天,关键量是 catch-up time——若构建约 20 小时、要求每 24 小时出新模型,跑到 8 小时停摆 4 小时后已耗 12 小时墙钟、按原速还需 12 小时完成,可能已经误期,因此在「当前时间+追上时间 > 阈值」时告警很有价值。通用技巧包括把预测(ID、值)记进易检索的表(担心速度可采样,但会失去保证的可解释性),最好留一列实际值便于回填对比,并让预测消费方也记预测 ID 形成可连接事件链;服务期可解释性的金标准是单次推理级解释(这笔交易为何被批准/拒绝),借贷业常以 reason codes 传达下游。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:From Site Reliability Engineering, there are four golden signals you can use to look at the high-level state of your serving system: latency, traffic, errors, and saturation.