知识卡片
对抗样本软肋
对抗样本是攻击者刻意修改的输入,可使模型高置信度误判。高普通测试准确率不能排除这种脆弱性。评估需限定扰动大小、对手知识及输入仍有效的条件,不把某次实验的极端误报漏报率泛化为全部系统。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络安全 威胁模型与对抗样本 · 查看原书依据
对抗样本是在数据集中通过故意添加细微干扰而形成的输入样本,能导致模型以高置信度给出一个错误输出。在一个对抗样本的经典例子中,一张图片中的大熊猫能够被训练好的机器模型正确识别,然而,在使图片中的像素发生微小改变(在图片中叠加噪声图片)后,图片
参考来源
- 位置:《人工智能安全》网络安全,威胁模型与对抗样本(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0009.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:对抗样本是在数据集中通过故意添加细微干扰而形成的输入样本,能导致模型以高置信度给出一个错误输出。在一个对抗样本的经典例子中,一张图片中的大熊猫能够被训练好的机器模型正确识别,然而,在使图片中的像素发生微小改变(在图片中叠加噪声图片)后,图片