知识卡片
威胁模型先行
AI 安全分析必须先限定攻防发生的“战场”:攻击者知道什么、能控制什么、能访问什么。白盒假设攻击者完全掌握目标数据与模型(参数、训练数据、超参数),攻击难度最低但离现实最远,常用来揭示模型在最坏情况下的脆弱性;黑盒只允许通过 API 查询并获得返回,无法得知内部细节,最接近真实部署场景,攻击须依赖查询效率与迁移性;灰盒介于两者之间,攻击者只掌握任务类型、模型结构等开源可得的先验信息。同一攻击在白盒下轻松成立,换到黑盒往往要借替代模型或数据完成迁移。威胁模型是约束集合而非标签,先划定它,攻防结论才可比较。参见 [[攻击三维分类]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 人工智能安全基础 3.2 威胁模型 · 查看原书依据
威胁模型是对真实攻防场景的一种模拟,旨在清晰地定义攻击者、防御者以及双方的攻防规则。但是与真实开放的对抗环境相比,威胁模型在很多方面还是采用了一定的假设和约束,以便公平地进行攻防对抗。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第3章《人工智能安全基础》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter8_0003.xhtml)
- 结论依据:AI 安全分析必须先限定攻防发生的“战场”:攻击者知道什么、能控制什么、能访问什么。白盒假设攻击者完全掌握目标数据与模型,原文从「3.2 威胁模型」处给出对应机制与依据,支撑本卡结论。
- 原始内容:威胁模型是对真实攻防场景的一种模拟,旨在清晰地定义攻击者、防御者以及双方的攻防规则。但是与真实开放的对抗环境相比,威胁模型在很多方面还是采用了一定的假设和约束,以便公平地进行攻防对抗。