知识卡片

普通读书笔记卡 · 8428.a.1.b.1 · 生成模型:未记录

扰动攻击不同于漂移

理解等级:中级

自然分布变化可能使模型失准;对抗样本则由攻击者选择微小扰动,故意诱导错误。两者都与鲁棒性有关,但攻击评估还必须说明对手能改动什么、知道什么。对抗训练等方法针对一定攻击假设提高抵抗力,不能推出普遍免疫。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 概述 学习系统的特有薄弱环节 · 查看原书依据

      在对抗样本攻击中,对于一定的模型,攻击者可以计算出一些有害数据,仅对数据做出微小的(从而难以被人发现的)扰动,就能使系统做出错误的判断或决策。Szegedy等人2014年的研究[38]发现,神经网络存在对抗样本,这些对抗样本可以通过对测试的

    参考来源

    - 位置:《人工智能安全》概述,学习系统的特有薄弱环节(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0004.xhtml) - 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。 - 原始内容:在对抗样本攻击中,对于一定的模型,攻击者可以计算出一些有害数据,仅对数据做出微小的(从而难以被人发现的)扰动,就能使系统做出错误的判断或决策。Szegedy等人2014年的研究[38]发现,神经网络存在对抗样本,这些对抗样本可以通过对测试的