知识卡片

操作参考卡 · 7011.k · 生成模型:DeepSeek-V4.1-Flash

模型验证:沙箱、金丝雀与影子

理解等级:高级

模型验证意在理解模型的业务影响(利润/损失曲线、混淆矩阵看「模型判否而答案应是」等),主目标是判断模型相对基线是否改善了某指标,次目标是判断新模型是否优于现有模型;为此除了与历史数据比,还要让两个模型互比。至少两种好办法:在预生产环境(沙箱)里按容量并行或串行跑两模型比行为;或在生产中给新模型一小部分真实用户流量(通常 1%–5%),即金丝雀测试,好处是能在全量发布前暴露模型对真实用户流量的反应问题,且与 A/B 测试、按版本切流的安全过渡重叠——但要求基础设施支持「让特定版本只拿到一部分流量」,并非所有基础设施都有此能力。混合做法是把同一份数据既送本地模型又送生产模型(本地只吃测试流量、不接全量生产流量),有助于暴露建模与服务间的特征代码差异、配置差异等;还可把生产流量送进模型但不把结果给终端用户,即影子(shadowing),在服务路径上测试多数组件而不使用户承担风险,在「正确性 vs 风险」谱上又多一个平衡点。常用数值 KPI 包括准确率、精确率、召回率、PR 曲线、log loss、ROC/AUC 等,理解这些并看清输出分布形状就能很好把握模型状况。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Monitoring and Observability for Models · 查看原书依据

      Test in production, with the model getting a small subset of real user traffic (typically, between 1% and 5%), sometimes called a canary test. The second approach also has the good effect of exposing any problem with the model reacting to user traffic before a full rollout.

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Test in production, with the model getting a small subset of real user traffic (typically, between 1% and 5%), sometimes called a canary test. The second approach also has the good effect of exposing any problem with the model reacting to user traffic before a full rollout.