← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9453.a · 生成模型:Claude Opus 4.6

数据模型两面

理解等级:中级

AI 系统的风险可分数据与模型两条线看待:数据侧有投毒、隐私攻击、数据窃取与数据篡改,分别污染训练样本、推理用户隐私、逆向还原训练数据、伪造虚假数据;模型侧有对抗攻击、后门攻击与模型窃取,分别在测试期添加扰动、植入触发器操纵预测、通过交互克隆模型功能。这种划分的用途是把笼统的“算法不安全”拆成具体攻击面,便于对症防护。它承接[[内生安全边界]]中内生安全的范围,但要注意部分攻击(如后门)会借数据投毒实现,两条线并非完全割裂。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 人工智能与安全概述 1.3.1 数据与模型安全 · 查看原书依据

      现有针对训练数据的攻击主要包括以下四种。 ● 数据投毒:通过操纵数据收集或标注过程来污染(毒化)部分训练样本,从而大幅降低最终模型的性能。 ● 隐私攻击:利用模型的记忆能力,挖掘模型对特定用户的预测偏好,从而推理出用户的隐私信息。 ● 数据窃取:从已训练好的模型中逆向工程出训练样本,从而达到窃取原始训练数据的目的。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第1章《人工智能与安全概述》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter6_0003.xhtml) - 结论依据:AI 系统的风险可分数据与模型两条线看待:数据侧有投毒、隐私攻击、数据窃取与数据篡改,分别污染训练样本、推理用户隐私、逆,原文从「1.3.1 数据与模型安全」处给出对应机制与依据,支撑本卡结论。 - 原始内容:现有针对训练数据的攻击主要包括以下四种。 ● 数据投毒:通过操纵数据收集或标注过程来污染(毒化)部分训练样本,从而大幅降低最终模型的性能。 ● 隐私攻击:利用模型的记忆能力,挖掘模型对特定用户的预测偏好,从而推理出用户的隐私信息。 ● 数据窃取:从已训练好的模型中逆向工程出训练样本,从而达到窃取原始训练数据的目的。