知识卡片
对抗样本的目标与扰动约束
对抗样本是在允许的输入变化范围内,有意寻找导致模型错误的输入。无目标攻击只要求误分类,有目标攻击要求输出指定类别;扰动大小须结合模态和威胁模型定义,范数阈值只是可计算的代理,不等于人类感知不可察觉。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 对抗攻击 12.1 对抗攻击简介 · 查看原书依据
图12.1给出了一个网络攻击的例子.之前我们已经训练了图像识别模型,给它一张照片,它可以告诉我们这张照片属于什么类别.我们要做的攻击就是给这张照片加入非常小的噪声. 具体方法是,一张照片可以看作一个矩阵,在这个矩阵的每一个数据上都加入一个小小的噪声,然后把这张加入噪声的照片输入网络,查看输出的分类结果.我们把被加入噪声的照片叫作受到攻击的图像,而把没有被加入噪声的照片叫作原始图像.将原始图像输入网络后,输出是猫,我们作为攻击方,期待受到攻击的图像的输出不是猫,而是其他结果.攻击大致上分成两种类型:一种是无目标攻击,只要受到攻击的图像的输出不是猫就算攻击成功;另一种是有目标攻击,我们希望受到攻击的图像的输出是狮子等,也就是说,我们希望网络不仅输出不能是猫,还要输出特定的结果,这样才算攻击成功.
参考来源
- 位置:《深度学习详解》第12章《对抗攻击》12.1 对抗攻击简介(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter12.xhtml`)
- 结论依据:原书说明攻击优化、迁移和防御;效果限定在具体威胁模型内。
- 原始内容:图12.1给出了一个网络攻击的例子.之前我们已经训练了图像识别模型,给它一张照片,它可以告诉我们这张照片属于什么类别.我们要做的攻击就是给这张照片加入非常小的噪声. 具体方法是,一张照片可以看作一个矩阵,在这个矩阵的每一个数据上都加入一个小小的噪声,然后把这张加入噪声的照片输入网络,查看输出的分类结果.我们把被加入噪声的照片叫作受到攻击的图像,而把没有被加入噪声的照片叫作原始图像.将原始图像输入网络后,输出是猫,我们作为攻击方,期待受到攻击的图像的输出不是猫,而是其他结果.攻击大致上分成两种类型:一种是无目标攻击,只要受到攻击的图像的输出不是猫就算攻击成功;另一种是有目标攻击,我们希望受到攻击的图像的输出是狮子等,也就是说,我们希望网络不仅输出不能是猫,还要输出特定的结果,这样才算攻击成功.