知识卡片
认证防御边界
可认证防御与经验性防御的区别在于它给出的是数学保证:在指定的扰动半径内,模型的预测一定不改变,只要输入落在证书覆盖的范围内就不会出现意外输出。这种保证对安全性要求极高的场景很有价值,因为经验防御再好也无法排除未见过的攻击。但证书是有边界的,它只在特定范数、特定半径和特定样本上成立,超出范围一律不保证;而且认证非线性网络计算代价高,认证 ReLU 网络甚至是 NP 完全问题,难以直接扩展到大模型。读懂一份证书,关键是把“保证什么”和“不保证什么”一起看清楚。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:对抗防御 7.5 可认证防御 · 查看原书依据
与经验性防御不同,可认证防御为模型的对抗鲁棒性提供了严格的理论保证,可以证明输入在一定扰动范围内的输出一致性。若模型对于某个输入样本具有可认证鲁棒性,那么首先模型要正确分类此样本,同时在允许的扰动范围内,模型要对所有扰动后的样本也能正确分类。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第7章《模型安全:对抗防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter12_0006.xhtml)
- 结论依据:可认证防御与经验性防御的区别在于它给出的是数学保证:在指定的扰动半径内,模型的预测一定不改变,只要输入落在证书覆盖的范围,原文从「7.5 可认证防御」处给出对应机制与依据,支撑本卡结论。
- 原始内容:与经验性防御不同,可认证防御为模型的对抗鲁棒性提供了严格的理论保证,可以证明输入在一定扰动范围内的输出一致性。若模型对于某个输入样本具有可认证鲁棒性,那么首先模型要正确分类此样本,同时在允许的扰动范围内,模型要对所有扰动后的样本也能正确分类。