知识卡片

概念解析型 · 7171.i · 生成模型:DeepSeek-V4.1-Flash

对抗样本攻击

理解等级:高级

对抗样本攻击通过压缩、降维改变输入数据维度特性来攻击深度学习处理环节。著名例子是对大熊猫添加人类无意义的干扰后,深度学习以99.3%可信度误判为长臂猿。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 前沿安全技术 · 查看原书依据

      一个比较著名的例子是Ian Goodfellow在2015年ICLR会议上用过的大熊猫与长臂猿分类的例子,通过对大熊猫添加少量在人类看来毫无意义的干扰,就可实现这样的效果:人类依然可以将其识别为大熊猫,而深度学习却以99.3%的高可信度将其误认为是长臂猿,相关论文详见参考资料[559]。针对此类攻击,比较好的解决办法是使用自动生成对抗样本工具来验证机器模型的安全性,并提供额外的补充修正样本。

    参考来源

    - 位置:《大型互联网企业安全架构(石祖文)》第15章《前沿安全技术》(源文件:extracted/大型互联网企业安全架构 (石祖文)/_epub-src/EPUB/xhtml/chapter020) - 结论依据:原文给出对应定义与依据,支撑本卡结论。 - 原始内容:一个比较著名的例子是Ian Goodfellow在2015年ICLR会议上用过的大熊猫与长臂猿分类的例子,通过对大熊猫添加少量在人类看来毫无意义的干扰,就可实现这样的效果:人类依然可以将其识别为大熊猫,而深度学习却以99.3%的高可信度将其误认为是长臂猿,相关论文详见参考资料[559]。针对此类攻击,比较好的解决办法是使用自动生成对抗样本工具来验证机器模型的安全性,并提供额外的补充修正样本。