知识卡片
没有标签也能发现偏移
线上通常拿不到标签,等准确率报表出来往往已经滞后数周。可行的做法是把检测前移到输入侧,用三层信号拼出告警。
- 特征统计监控:均值、方差、分位数、缺失率、词表与新词比例,按天对比训练基线。便宜、灵敏,但阈值难定,误报多。
- 对抗验证:把训练样本标 0、线上样本标 1,训练一个分类器去区分。若它能轻易分开(AUC 明显高于 0.5),说明两者分布已不同;特征重要度还能指出是哪几个特征在漂移。
- 输出与业务指标:预测类别占比、置信度分布、点击率与人工抽检通过率。
代价要说清:对抗验证只能证明“分布变了”,不能证明“精度掉了”,一次无害的流量结构变化也会触发告警;无标签时无法直接算准确率,仍需少量抽样标注来校准;告警阈值要在误报与漏报之间反复调,且模型越敏感,运维负担越重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第23章 数据分布偏移 · 查看原书依据
检测协变量偏移的一种常见技术是对抗性验证,这在第29章中有更详细的介绍。一旦检测到协变量偏移,一种常用的处理方法是重要性加权,该方法为训练样本分配不同的权重,在训练过程中强调或弱化某些实例。
参考来源
- 位置:《大模型技术30讲》第23讲 数据分布偏移(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0030.xhtml)
- 结论依据:第23.1节对抗性验证与第23.5节末段关于持续监控的论述
- 原始内容:检测协变量偏移的一种常见技术是对抗性验证,这在第29章中有更详细的介绍。一旦检测到协变量偏移,一种常用的处理方法是重要性加权,该方法为训练样本分配不同的权重,在训练过程中强调或弱化某些实例。