知识卡片

普通读书笔记卡 · 7017.q · 生成模型:DeepSeek-V4.1-Flash

案例五/六:标签必须反映现实,依赖必须可回归验证

理解等级:高级

案例五(Google 广告点击预测)里,展示广告即在库里插一行、点击布尔列默认 false,由 click log 团队的「干净点击」feed 回填;模型以行作样本、以点击位作标签,用 1% Bernoulli 留出的 test_set 位做验证。某周一告警:广告展示率远低于正常,平均预测点击概率只有平时十分之一,但库里 48 小时数据点击率完全正常,验证系统当时也判定新模型 loss 更低,重跑同一对模型却得出相反结论。真相是上游干净点击处理管线周三随一次软件发布坏掉、直到周一凌晨才补到——训练与测试集里所有事件都被当成未点击,模型忠实学到「广告糟糕、没人会点」;feed 追上后验证数据被重标,才解释后续复验仍失败,最终用修正数据重训解决。要点极深刻:模型从未直接预测「一次点击的概率」,它预测的是「在训练发生的那个时刻,一条已展示广告在数据库里被标记为已点击的概率」;上游故障会让标签语义与我们希望它反映的现实分道扬镳。团队由此为点击日志处理系统建立可用性目标、扩展验证系统检查测试集正例比例是否异常过低/高、并建立「日志团队通报故障、模型健康出问题就暂停训练」的流程。案例六(Dialpad)同样围绕依赖:ASR 输出变化(词表新增、转写变准、话题漂移)会让下游 NLP 模型随回归与数据漂移退化,团队用 Kubeflow Pipelines 建回归测试沙箱,按「ASR 版本 × NLP 版本 × 数据集版本」收集指标并接入 CI/CD 触发,发现情感分析模型 F1 一年内下降约 25%、定位为累积数据漂移后用最新 ASR 输出重训并发布。两例共同印证:ML 管线普遍假设输入数据完整、标签正确却不加验证,因此都暴露在同类风险下。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Case Studies: MLOps in Practice · 查看原书依据

      In this case, a production failure in an upstream system caused the meaning of this label to diverge from what we wished it to reflect. Our models built using supervised learning techniques predict labels in our training set, and it’s of critical importance that our labels reflect reality.

    参考来源

    - 位置:《Reliable Machine Learning》第15章《Case Studies: MLOps in Practice》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch15.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:In this case, a production failure in an upstream system caused the meaning of this label to diverge from what we wished it to reflect. Our models built using supervised learning techniques predict labels in our training set, and it’s of critical importance that our labels reflect reality.