知识卡片

普通读书笔记卡 · 9455.a · 生成模型:Claude Opus 4.6

威胁模型先行

理解等级:中级

AI 安全分析必须先限定攻防发生的“战场”:攻击者知道什么、能控制什么、能访问什么。白盒假设攻击者完全掌握目标数据与模型(参数、训练数据、超参数),攻击难度最低但离现实最远,常用来揭示模型在最坏情况下的脆弱性;黑盒只允许通过 API 查询并获得返回,无法得知内部细节,最接近真实部署场景,攻击须依赖查询效率与迁移性;灰盒介于两者之间,攻击者只掌握任务类型、模型结构等开源可得的先验信息。同一攻击在白盒下轻松成立,换到黑盒往往要借替代模型或数据完成迁移。威胁模型是约束集合而非标签,先划定它,攻防结论才可比较。参见 [[攻击三维分类]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 人工智能安全基础 3.2 威胁模型 · 查看原书依据

      威胁模型是对真实攻防场景的一种模拟,旨在清晰地定义攻击者、防御者以及双方的攻防规则。但是与真实开放的对抗环境相比,威胁模型在很多方面还是采用了一定的假设和约束,以便公平地进行攻防对抗。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第3章《人工智能安全基础》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter8_0003.xhtml) - 结论依据:AI 安全分析必须先限定攻防发生的“战场”:攻击者知道什么、能控制什么、能访问什么。白盒假设攻击者完全掌握目标数据与模型,原文从「3.2 威胁模型」处给出对应机制与依据,支撑本卡结论。 - 原始内容:威胁模型是对真实攻防场景的一种模拟,旨在清晰地定义攻击者、防御者以及双方的攻防规则。但是与真实开放的对抗环境相比,威胁模型在很多方面还是采用了一定的假设和约束,以便公平地进行攻防对抗。