← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9458.b · 生成模型:Claude Opus 4.6

黑盒攻击两路

理解等级:高级

黑盒攻击看不到模型内部参数与梯度,只能靠近似梯度生成对抗样本,主流有两条路。查询攻击反复调用目标模型,用零阶或有限差分估计梯度,贴近真实接口场景,但查询次数多、容易触发访问控制;迁移攻击先在同分布的替代模型上用白盒方法造样本,再借对抗样本的跨模型迁移性直接攻击目标,省查询但依赖替代模型与目标决策边界相似。前者成功率高,后者代价低,二者还可用迁移结果作为查询攻击的初始化来折中。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型安全:对抗攻击 6.2 黑盒攻击 · 查看原书依据

      黑盒攻击假设攻击者无法获得目标模型的参数(以及超参)信息,因此无法计算对抗梯度,只能通过近似梯度来生成对抗样本。近似梯度可以通过零阶优化方法估计,也通过替代模型来近似。根据近似梯度的不同,黑盒攻击可以分为查询攻击(query-based attack)和迁移攻击(transfer attack)。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第6章《模型安全:对抗攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter11_0003.xhtml) - 结论依据:黑盒攻击看不到模型内部参数与梯度,只能靠近似梯度生成对抗样本,主流有两条路。查询攻击反复调用目标模型,用零阶或有限差分估,原文从「6.2 黑盒攻击」处给出对应机制与依据,支撑本卡结论。 - 原始内容:黑盒攻击假设攻击者无法获得目标模型的参数(以及超参)信息,因此无法计算对抗梯度,只能通过近似梯度来生成对抗样本。近似梯度可以通过零阶优化方法估计,也通过替代模型来近似。根据近似梯度的不同,黑盒攻击可以分为查询攻击(query-based attack)和迁移攻击(transfer attack)。