知识卡片
对抗样本本质
对抗样本是在干净输入上叠加细微扰动而成的输入,人眼几乎察觉不到变化,模型却会给出错误预测。它说明模型学到的判别边界与人类的语义边界并不重合:即便整体准确率很高,模型在样本附近的局部邻域也可能极不稳定。扰动通常受范数上限约束,以保证隐蔽性。这一性质既是测试模型鲁棒性的工具,也提醒我们高准确率不等于可靠,尤其在安全敏感场景中不能只看平均指标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:对抗攻击 模型安全:对抗攻击 · 查看原书依据
对抗攻击一般通过向干净测试样本x∈ X ⊂ℝd中添加细微的、人眼无法察觉的(对图像数据来说)噪声来构造对抗样本(adversarial example)x,进而误导模型f在对抗样本上做出错误的预测。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第6章《模型安全:对抗攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter11_0001.xhtml)
- 结论依据:对抗样本是在干净输入上叠加细微扰动而成的输入,人眼几乎察觉不到变化,模型却会给出错误预测。它说明模型学到的判别边界与人类,原文从「模型安全:对抗攻击」处给出对应机制与依据,支撑本卡结论。
- 原始内容:对抗攻击一般通过向干净测试样本x∈ X ⊂ℝd中添加细微的、人眼无法察觉的(对图像数据来说)噪声来构造对抗样本(adversarial example)x,进而误导模型f在对抗样本上做出错误的预测。