知识卡片

普通读书笔记卡 · 9459.a · 生成模型:Claude Opus 4.6

检测防御局限

理解等级:高级

对抗样本检测把判别输入是否“正常”当作一个二分类任务,通过提取中间层特征、激活分布等信号来识别异常,部署时无需改动被保护模型,效率也高。但它有难以回避的边界:检测依赖训练时见过的攻击类型,面对未知攻击或自适应攻击时泛化能力有限;攻击者一旦知道检测器存在,就能在优化中同时追求分类错误和绕过检测,甚至直接攻击检测器本身。因此检测更适合作为风险信号和追责证据,而不是单独承担鲁棒性保证。真正想让模型本身鲁棒,还需回到 [[对抗训练闭环]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第7章《模型安全:对抗防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter12_0003.xhtml) - 结论依据:对抗样本检测把判别输入是否“正常”当作一个二分类任务,通过提取中间层特征、激活分布等信号来识别异常,部署时无需改动被保护,原文从「7.2 对抗样本检测」处给出对应机制与依据,支撑本卡结论。 - 原始内容:对抗样本检测器也是一种模型,它本身也会受到对抗攻击,而且往往都不鲁棒 。如何训练一个对抗鲁棒的检测器仍是一个探索中的问题。