← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9454.c · 生成模型:Claude Opus 4.6

验证集的盲区

理解等级:高级

验证集的作用是在已知分布上检验泛化能力并挑选超参数,测试集则给出最终的常规性能估计。但两者都只覆盖采样自同一分布的样本,无法证明模型在恶意扰动、分布外输入或隐藏触发器下仍然安全。把普通测试准确率当作安全兜底指标是危险的:攻击者构造的输入本就不服从原始分布,自然不会在验证集上显现。安全评估需要主动构造对抗样本、后门触发与分布偏移场景,用攻击成功率等指标补充甚至替代常规准确率,这正是[[训练流程攻击面]]中强调主动构造风险场景的必要性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第2章《机器学习基础》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter7_0002.xhtml) - 结论依据:验证集的作用是在已知分布上检验泛化能力并挑选超参数,测试集则给出最终的常规性能估计。但两者都只覆盖采样自同一分布的样本,,原文从「2.1 基本概念」处给出对应机制与依据,支撑本卡结论。 - 原始内容:设计优化策略在训练集上对模型进行迭代更新直到达到目标函数最优值 。我们在验证集上检验模型的泛化能力并挑选最优的模型参数,并最终在测试集上进行模型评估。