知识卡片
对抗验证辨分布
把“这条样本来自训练集还是测试集”当成监督目标,是对抗验证的全部想法:模型分不开,说明两个集合分布足够相似;分得开,差异是系统性的,还能顺着特征重要性找到哪几维在泄露身份。
操作上有几个容易忽略的点:合并后要打 0/1 标签并分层切分;训练集通常远大于测试集,评估应看 AUC 而不是准确率,或对少数类加权;基准是 0.5 附近的随机水平,而不是某个绝对阈值。若模型只是靠 ID、时间戳、文件路径这类伪特征分开两边,应先剔除再看结论。
它的价值在于通用:表格、图像、文本都能用同一套流程,不需要逐模态设计距离度量。代价是它只回答“是否不同”,不回答“哪里不同为什么不同”,定位仍需结合特征重要性或逐实例分析。
结构图:
flowchart TD
A[合并训练集与测试集] --> B[打标签:训练0 测试1]
B --> C[分层k折切分]
C --> D[训练二分类器]
D --> E{AUC明显高于0.5}
E -- 否 --> F[分布接近,差异不成立]
E -- 是 --> G[读特征重要性定位告密特征]
G --> H[逆向特征选择或剔除异常训练样本]
H --> I[重评主任务确认修复]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第29章 训练集和测试集的不一致性 · 查看原书依据
对抗验证(如图29-1所示)是一种识别训练数据和测试数据相似程度的技术。我们先将训练集和测试集合并为一个数据集,然后创建一个二元目标变量来区分训练数据和测试数据。
参考来源
- 位置:《大模型技术30讲》第29讲 训练集和测试集的不一致性(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0037.xhtml)
- 结论依据:第29章 对抗验证工作流(图29-1)及练习29-1、29-2
- 原始内容:对抗验证(如图29-1所示)是一种识别训练数据和测试数据相似程度的技术。我们先将训练集和测试集合并为一个数据集,然后创建一个二元目标变量来区分训练数据和测试数据。