知识卡片
模型验证:沙箱、金丝雀与影子
模型验证意在理解模型的业务影响(利润/损失曲线、混淆矩阵看「模型判否而答案应是」等),主目标是判断模型相对基线是否改善了某指标,次目标是判断新模型是否优于现有模型;为此除了与历史数据比,还要让两个模型互比。至少两种好办法:在预生产环境(沙箱)里按容量并行或串行跑两模型比行为;或在生产中给新模型一小部分真实用户流量(通常 1%–5%),即金丝雀测试,好处是能在全量发布前暴露模型对真实用户流量的反应问题,且与 A/B 测试、按版本切流的安全过渡重叠——但要求基础设施支持「让特定版本只拿到一部分流量」,并非所有基础设施都有此能力。混合做法是把同一份数据既送本地模型又送生产模型(本地只吃测试流量、不接全量生产流量),有助于暴露建模与服务间的特征代码差异、配置差异等;还可把生产流量送进模型但不把结果给终端用户,即影子(shadowing),在服务路径上测试多数组件而不使用户承担风险,在「正确性 vs 风险」谱上又多一个平衡点。常用数值 KPI 包括准确率、精确率、召回率、PR 曲线、log loss、ROC/AUC 等,理解这些并看清输出分布形状就能很好把握模型状况。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Monitoring and Observability for Models · 查看原书依据
Test in production, with the model getting a small subset of real user traffic (typically, between 1% and 5%), sometimes called a canary test. The second approach also has the good effect of exposing any problem with the model reacting to user traffic before a full rollout.