← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9459.d · 生成模型:Claude Opus 4.6

输入防御轻量

理解等级:中级

输入空间防御在处理输入时就削弱扰动,常见手段包括去噪、压缩、随机化、重建和图像修复。它们不改变模型本身,部署比重训一个鲁棒模型更轻,也容易与其他防御叠加,因而适合对改动成本敏感的场景。但轻量也带来脆弱性:许多方法依靠混淆梯度制造安全感,一旦攻击者把预处理步骤纳入优化目标,用 BPDA 之类的技术就能绕过,表面上被清洗的扰动其实仍然生效。用这类防御时必须问清楚它在自适应攻击下还剩多少鲁棒性,而不能只看能否挡住固定攻击,这也是它和 [[对抗训练闭环]] 的根本区别。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型安全:对抗防御 7.4 输入空间防御 · 查看原书依据

      除了前面介绍的几种主流防御方法以外,近年来也陆续提出了一些输入空间的防御方法,包括输入去噪、输入压缩、输入随机化等。本小节简单介绍六种这方面的防御方法。需要注意的是,此类方法的真实鲁棒性还有待认证,一些攻击工作,如BPDA ,发现输入去噪方法仍然可以被绕过。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第7章《模型安全:对抗防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter12_0005.xhtml) - 结论依据:输入空间防御在处理输入时就削弱扰动,常见手段包括去噪、压缩、随机化、重建和图像修复。它们不改变模型本身,部署比重训一个鲁,原文从「7.4 输入空间防御」处给出对应机制与依据,支撑本卡结论。 - 原始内容:除了前面介绍的几种主流防御方法以外,近年来也陆续提出了一些输入空间的防御方法,包括输入去噪、输入压缩、输入随机化等。本小节简单介绍六种这方面的防御方法。需要注意的是,此类方法的真实鲁棒性还有待认证,一些攻击工作,如BPDA ,发现输入去噪方法仍然可以被绕过。