← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9673.a · 生成模型:DeepSeek-V4.1-Flash

没有标签也能发现偏移

理解等级:高级

线上通常拿不到标签,等准确率报表出来往往已经滞后数周。可行的做法是把检测前移到输入侧,用三层信号拼出告警。

  1. 特征统计监控:均值、方差、分位数、缺失率、词表与新词比例,按天对比训练基线。便宜、灵敏,但阈值难定,误报多。
  2. 对抗验证:把训练样本标 0、线上样本标 1,训练一个分类器去区分。若它能轻易分开(AUC 明显高于 0.5),说明两者分布已不同;特征重要度还能指出是哪几个特征在漂移。
  3. 输出与业务指标:预测类别占比、置信度分布、点击率与人工抽检通过率。

代价要说清:对抗验证只能证明“分布变了”,不能证明“精度掉了”,一次无害的流量结构变化也会触发告警;无标签时无法直接算准确率,仍需少量抽样标注来校准;告警阈值要在误报与漏报之间反复调,且模型越敏感,运维负担越重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第23章 数据分布偏移 · 查看原书依据

      检测协变量偏移的一种常见技术是对抗性验证,这在第29章中有更详细的介绍。一旦检测到协变量偏移,一种常用的处理方法是重要性加权,该方法为训练样本分配不同的权重,在训练过程中强调或弱化某些实例。

    参考来源

    - 位置:《大模型技术30讲》第23讲 数据分布偏移(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0030.xhtml) - 结论依据:第23.1节对抗性验证与第23.5节末段关于持续监控的论述 - 原始内容:检测协变量偏移的一种常见技术是对抗性验证,这在第29章中有更详细的介绍。一旦检测到协变量偏移,一种常用的处理方法是重要性加权,该方法为训练样本分配不同的权重,在训练过程中强调或弱化某些实例。