此笔记位置已失效,请从目录继续阅读。
全书导读
这本书处理的问题不是”怎么用 AI 工具”,而是”AI 系统自身为什么会被攻破,以及怎样加固”。作者把视角收在数据与模型这两个 AI 系统的核心资产上:训练数据会被投毒和窃取,模型会被诱导、被植入后门、被复制。全书按”先打基础、再分数据侧和模型侧展开攻防、最后展望”的顺序推进。第 1、2 章建立什么是人工智能安全、机器学习流程有哪些内在假设;第 3 章给出贯穿全书的威胁模型与攻防分类框架;第 4、5 章讲数据安全的攻击与防御,第 6—10 章讲模型安全的对抗攻击、对抗防御、后门攻击、后门防御和窃取攻防;第 11 章收束到未来趋势。读这本书的关键,是始终追问某个攻击利用了学习流程的哪个假设、某种防御又在用什么代价换回安全。
全书主线
主线可以概括成一条因果链:机器学习流程依赖若干统计假设和接口暴露,这些假设一旦被攻击者利用就成为攻击面,防御则围绕这些攻击面逐一设防。IID(独立同分布)假设、模型对梯度的暴露、决策边界的脆弱、迁移学习与 API 查询的开放,分别对应投毒、对抗样本、后门和模型窃取,详见IID假设脆弱性。第 3 章的威胁模型回答”谁在攻、攻什么、什么时候攻”,后面各章的攻防都是在这个坐标系里展开。数据侧围绕投毒、隐私推理、窃取和伪造,防御侧用鲁棒训练、差分隐私、联邦学习和检测;模型侧围绕对抗与后门两条主线,各自有攻击方法和对应防御。理解全书,就是理解”攻击面从何而来、防御代价付在哪里”这两个问题在各章的具体答案。
原书依据 · 1 处
跨章综合
把十一章放在一起看,全书其实围绕”假设—攻击面—防御—代价”这一个循环展开。第 2 章的 IID 假设、模型记忆和接口暴露是根源,第 3 章的威胁模型提供分析坐标;数据侧(4、5 章)与模型侧(6—10 章)是同一逻辑在两个对象上的分别展开。对抗攻击与对抗防御、后门攻击与后门防御、窃取与水印,都是攻击手段与对应反制的一一配对。贯穿各章的判据有两个:一是这项攻击利用了学习流程的哪个假设或暴露,二是这项防御用什么代价(精度、隐私预算、计算或信息量)换回安全。抓住这两点,就能把分散的攻防方法组织成一张可迁移的知识地图。
发散与实践
本书的技术内容适合转化为对真实攻防实现的深读与相邻方案的横向比较,而不必自行搭建完整攻击系统。读者延伸方向包括:把差分隐私的”噪声—效用”权衡放进一个具体开源实现里观察参数影响;比较对抗训练与认证防御在保证形式上的差别;用公开的模型水印方案理解溯源如何落地。发散与实践的详细计划见概览”实践卡进度”表及 ideas/ 目录,所有内容均为读者延伸或待执行的计划,不代表作者观点,也不表示实践已经完成。