来源书籍

人工智能数据与模型安全 (姜育刚马兴军吴祖煊)

Skill 版本:v24 经典原理**(高信息浓度 + 高稳定性) 46 张卡片

姜育刚;马兴军;吴祖煊 · 机械工业出版社 · 2023年8月 · ISBN 9787111735021

全书导读

这本书处理的问题不是”怎么用 AI 工具”,而是”AI 系统自身为什么会被攻破,以及怎样加固”。作者把视角收在数据与模型这两个 AI 系统的核心资产上:训练数据会被投毒和窃取,模型会被诱导、被植入后门、被复制。全书按”先打基础、再分数据侧和模型侧展开攻防、最后展望”的顺序推进。第 1、2 章建立什么是人工智能安全、机器学习流程有哪些内在假设;第 3 章给出贯穿全书的威胁模型与攻防分类框架;第 4、5 章讲数据安全的攻击与防御,第 6—10 章讲模型安全的对抗攻击、对抗防御、后门攻击、后门防御和窃取攻防;第 11 章收束到未来趋势。读这本书的关键,是始终追问某个攻击利用了学习流程的哪个假设、某种防御又在用什么代价换回安全。

全书主线

主线可以概括成一条因果链:机器学习流程依赖若干统计假设和接口暴露,这些假设一旦被攻击者利用就成为攻击面,防御则围绕这些攻击面逐一设防。IID(独立同分布)假设、模型对梯度的暴露、决策边界的脆弱、迁移学习与 API 查询的开放,分别对应投毒、对抗样本、后门和模型窃取,详见IID假设脆弱性。第 3 章的威胁模型回答”谁在攻、攻什么、什么时候攻”,后面各章的攻防都是在这个坐标系里展开。数据侧围绕投毒、隐私推理、窃取和伪造,防御侧用鲁棒训练、差分隐私、联邦学习和检测;模型侧围绕对抗与后门两条主线,各自有攻击方法和对应防御。理解全书,就是理解”攻击面从何而来、防御代价付在哪里”这两个问题在各章的具体答案。

原书依据 · 1 处

第01章 人工智能与安全概述

本章先把”人工智能安全”这个大词拆开,区分三种不同取向。内生安全指系统自身脆弱性引发、作用对象是系统本身的安全问题;衍生安全是模型不安全波及外部领域;助力安全则是用 AI 去提升其他领域的安全。数据与模型安全属于内生安全,因为风险出在训练、数据收集和推理这些系统内部环节。内生安全边界讲清了这条边界,数据模型两面则说明数据侧和模型侧各自作为保护对象与攻击对象的双重角色。划清边界的用处是确定治理重点:面对数据模型安全,要追问的是系统为何被攻破,而不是 AI 被用来攻击什么。

原书依据 · 2 处

第02章 机器学习基础

本章不是教建模,而是把后续攻击面赖以存在的机器学习假设摆出来。训练流程从数据、任务、损失、优化到泛化,每一步都隐含前提。IID假设脆弱性指出训练与测试同分布这一假设一旦被打破,模型行为就会偏离预期,这正是投毒和对抗攻击的立足点。训练流程攻击面把数据收集、训练、部署各环节的暴露点串起来。损失函数即偏好说明损失函数实际上定义了模型”看重什么”,攻击者可以通过影响它来操纵模型。验证集的盲区提醒常规验证并不能覆盖对抗情形。这几张卡是理解后文所有攻防的基础概念。

原书依据 · 4 处

第03章 人工智能安全基础

本章给出全书通用的分析框架。首先要把攻防角色分开:攻防主体分离区分攻击者、受害者与防御者,威胁模型先行强调先明确攻击者的知识与能力(白盒、黑盒、灰盒)和攻击时机,才谈得上评估风险。在此基础上有两个分类维度:攻击三维分类按目标、时机和知识组织攻击方式,防御三策略归纳对抗、检测与认证等防御取向。后续每一章的具体攻防都能放回这个坐标系,这也是全书最值得先掌握的一章。

原书依据 · 4 处

第04章 数据安全:攻击

本章集中讲数据侧的攻击。数据与模型一体两面,攻击数据最终会传导到模型。数据投毒机制说明在训练阶段注入恶意样本如何让模型学错;隐私攻击则试图从模型反推训练数据,成员推理风险判断某条记录是否在训练集中,属性推理风险推断数据的整体属性。数据窃取升级把窃取从单次查询推向更系统的重建,深伪是滥用攻击则把深度伪造归入生成能力被滥用的攻击。这些攻击的共同点是利用模型对训练数据的”记忆”与统计泄露。

原书依据 · 5 处

第05章 数据安全:防御

本章与第 4 章一一对应,讲数据侧防御及其代价。鲁棒训练取舍说明增强鲁棒性往往要牺牲一部分正常精度。隐私预算含义解释差分隐私用噪声换隐私的量化尺度,预算越小越安全但效用越低。联邦学习矛盾点出”数据不出域”与”梯度仍会泄露”之间的张力,鲁棒聚合核心是对付联邦场景中恶意更新的手段。伪造检测看痕迹则从生成痕迹入手识别深伪。读这一章要抓住同一个主题:安全不是免费的,每一种防御都在隐私、效用与成本之间做交换。

原书依据 · 5 处

第06章 模型安全:对抗攻击

本章转向模型侧,讲对抗样本。对抗样本本质解释在输入上加人眼难察的扰动就能让模型出错,根源是决策边界与人类感知不一致。按攻击者掌握的信息,攻击分两条路:白盒梯度优势利用可访问的梯度高效构造扰动,黑盒攻击两路则在只能查询时靠迁移或近似。物理攻击约束讨论把数字扰动搬到真实世界时要满足的额外条件。这一章与第 7 章的防御直接对应。

原书依据 · 4 处

第07章 模型安全:对抗防御

本章是全书篇幅最重的一章,系统展开对抗防御。先问对抗样本为何存在,成因假说并存说明线性性、边界特性等多种解释并存,没有单一答案。检测的思路有局限,检测防御局限指出检测容易被自适应攻击者绕过。主流做法是训练时防御:对抗训练闭环把攻击生成与再训练组成循环,TRADES权衡显式刻画鲁棒性与精度的取舍。此外还有较轻量的输入防御轻量与给出可证明保证的认证防御边界。这一章的取舍主线是”防御强度、正常精度与计算成本”三者不可兼得。

原书依据 · 6 处

第08章 模型安全:后门攻击

本章讲后门攻击:攻击者在训练时埋下触发机制,让模型在遇到特定触发器时按攻击者的意图输出。后门攻击机制给出”训练时植入、推理时触发”的基本结构,BadNets警示用经典工作说明后门可以在被污染数据上被植入。触发器隐蔽性讨论怎样让触发器难以察觉。后门并不局限于普通训练:范式适配后门说明它可适配迁移学习、联邦学习等不同范式,场景化后门则落到具体任务场景。后门攻击的关键在于模型在正常输入上表现如常,只在触发条件下失效,因此特别隐蔽。

原书依据 · 5 处

第09章 模型安全:后门防御

本章与后门攻击对应,讲检测与移除。防御分两条线:一是识别模型或样本是否带后门,神经净化思路通过对模型做微调净化可疑行为,样本异常检测从输入侧发现触发痕迹;二是主动移除后门,后门移除路径归纳剪枝、微调等做法,剪枝防御优势解释剪枝为何能切断后门依赖。这些方法的共同难点是攻击者在自适应地规避检测,防御需要在”正常功能不受损”与”后门确实被清除”之间取得平衡。

原书依据 · 4 处

第10章 模型安全:窃取攻防

本章转向模型的知识产权。模型窃取的三重目标说明攻击者可能想要模型参数、功能或训练数据。三类窃取路径按攻击者可利用的信息组织方法,多数依赖对 API 的反复查询。信息模糊代价指出防御常通过扰动输出、降低信息量来增加窃取难度,但会伤害正常服务。水印与溯源则在模型已被复制后用于证明所有权。这一章把安全与商业场景直接连起来:模型是一种资产,窃取攻防本质上是资产保护问题。

原书依据 · 4 处

第11章 未来展望

本章把视线投向尚未定型的方向。攻击走向现实指出随着模型进入物理世界和现实业务,数字域的攻击会获得真实后果,约束与危害都被放大。防御走向组合说明单一防御难以覆盖全部攻击面,未来更可能靠多种机制组合。推理阶段防御强调不能只在训练时设防,推理服务本身也需要防护。这一章没有给出成熟方案,而是把前面各章的攻防逻辑延伸到大模型、多模态与真实部署场景,提示安全是一个持续演进的对抗过程。

原书依据 · 3 处

跨章综合

把十一章放在一起看,全书其实围绕”假设—攻击面—防御—代价”这一个循环展开。第 2 章的 IID 假设、模型记忆和接口暴露是根源,第 3 章的威胁模型提供分析坐标;数据侧(4、5 章)与模型侧(6—10 章)是同一逻辑在两个对象上的分别展开。对抗攻击与对抗防御、后门攻击与后门防御、窃取与水印,都是攻击手段与对应反制的一一配对。贯穿各章的判据有两个:一是这项攻击利用了学习流程的哪个假设或暴露,二是这项防御用什么代价(精度、隐私预算、计算或信息量)换回安全。抓住这两点,就能把分散的攻防方法组织成一张可迁移的知识地图。

发散与实践

本书的技术内容适合转化为对真实攻防实现的深读与相邻方案的横向比较,而不必自行搭建完整攻击系统。读者延伸方向包括:把差分隐私的”噪声—效用”权衡放进一个具体开源实现里观察参数影响;比较对抗训练与认证防御在保证形式上的差别;用公开的模型水印方案理解溯源如何落地。发散与实践的详细计划见概览”实践卡进度”表及 ideas/ 目录,所有内容均为读者延伸或待执行的计划,不代表作者观点,也不表示实践已经完成。

生成进度与管理记录

人工智能数据与模型安全 (姜育刚马兴军吴祖煊)

执行模式:light

建档进度:done

首次建档 Skill 版本:v24(本次完整重建于 2026-11-17)

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

本书围绕人工智能内生安全展开,核心不是产品操作或工具教程,而是数据与模型在训练、部署、调用中的结构性风险:数据投毒、隐私推理、数据窃取、篡改伪造、对抗攻击、后门攻击、模型窃取,以及与之对应的鲁棒训练、差分隐私、联邦学习、对抗训练、输入空间防御、可认证防御、后门检测与移除、模型溯源等方法。第 3 章先建立攻击者、受害者、防御者、白盒/黑盒/灰盒威胁模型和攻击时机等分析框架;第 4-10 章再分别展开具体攻防机制,解释为什么机器学习流程中的 IID 假设、模型记忆、梯度暴露、决策边界、迁移学习和 API 查询会变成攻击面。

稳定性方面,书中不少具体算法来自 2013-2022 年间的研究,未来会被更强方法替代,但”安全问题来自数据、模型和学习流程本身的假设与接口暴露”这一推理路径稳定性很高。差分隐私的噪声-效用权衡、联邦学习的数据不出域与梯度泄露矛盾、对抗样本的局部鲁棒性要求、后门攻击的训练时植入与推理时触发、模型窃取的查询-模仿机制,都是可迁移到后续大模型和多模态系统中的底层框架。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
01 人工智能与安全概述 done 2
02 机器学习基础 done 4
03 人工智能安全基础 done 4
04 数据安全:攻击 done 5
05 数据安全:防御 done 5
06 模型安全:对抗攻击 done 4
07 模型安全:对抗防御 done 6
08 模型安全:后门攻击 done 5
09 模型安全:后门防御 done 4
10 模型安全:窃取攻防 done 4
11 未来展望 done 3

非正文排除

spine 项 类型 排除理由
cover.xhtml 封面 仅图,无实质正文
Copyright.xhtml 版权页 出版信息,非正文讲解
chapter3(FOREWORD 序) 序 他人序言,非作者正文论证
chapter4(PREFACE 前言) 前言 背景介绍,不入正文计划
chapter5 及各 chapterN 空壳项 目录/分节页 纯目录或分节导航,无实质正文

出版信息已并入 _book_note.md front matter。

待关联术语

术语名 出现章节 一句话语境
(无纯提名术语,均在卡片中实质展开) — —

引用文献

标题 类型 出现章节 一句话语境
(本书以机制讲解为主,未在正文引用需单独登记的外部文献) — — —

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 差分隐私参数观察 实现深读 done 05 ideas/idea-001-差分隐私参数观察.md
002 对抗防御方案横向比较 横向学习 done 07 ideas/idea-002-对抗防御方案横向比较.md
003 后门检测与移除案例观察 证据验证 done 08、09 ideas/idea-003-后门检测与移除案例观察.md

实践候选筛选:done

筛选说明:从数据侧防御、模型侧对抗防御与后门攻防三类核心技术中选取可立即启动、产出可检查的实践;相近候选已合并为 3 张,均为技术理解类计划(实现深读/横向学习/证据验证),未采用”自行完整实现攻击系统”(高风险且非必要)与”纯读后感式发散”(无可检查产出)。计划交付不等于实践已执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。