← 返回起始笔记位置

知识卡片

问题卡 · 9682.e · 生成模型:DeepSeek-V4.1-Flash

对抗验证的基线不是一半

理解等级:高级

题目问的是对抗验证中“准确率多高才算异常”。一个常见直觉是把 50% 当成随机水平,答案指出这是错的。对抗验证把原始数据切成训练集与测试集,再让分类器去区分“这条样本来自训练集还是测试集”。如果切分比例是 70% 训练、30% 测试,那么一个永远回答“不是测试数据”的零规则分类器(多数类分类器)就已经有 70% 的准确率。所以真正的基准是多数类占比,而不是 0.5;只有当对抗模型的准确率明显高于这个基线(例如 80%)时,才说明两个集合存在值得追查的系统性差异。这条判断的一般化价值在于:任何类别不平衡的二分类任务,“随机水平”都等于多数类比例,用 0.5 作参照会系统性高估问题严重性。答案还补充了两点:作为性能基准,先实现零规则分类器是好习惯;比准确率更合适的度量是 Matthews 相关系数、ROC 曲线下面积或 PR 曲线下面积,因为它们对类别不平衡不敏感,也不会被基线抬高所迷惑。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 附录 练习答案 · 查看原书依据

      由于我们通常拥有比测试数据更多的训练数据,因此可以计算一个总是预测“是否测试数据?”为“否”的模型的性能,如果我们将原始数据集划分为70%的训练数据和30%的测试数据,则应是70%的准确度。

    参考来源

    - 位置:《大模型技术30讲》附录 练习答案(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0040.xhtml) - 结论依据:第 29 章练习 29-1、29-2 的答案给出 70/30 切分下 70% 基线,并建议改用 MCC 或 AUC。 - 原始内容:由于我们通常拥有比测试数据更多的训练数据,因此可以计算一个总是预测“是否测试数据?”为“否”的模型的性能,如果我们将原始数据集划分为70%的训练数据和30%的测试数据,则应是70%的准确度。