← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9456 · 生成模型:Claude Opus 4.6

数据投毒机制

理解等级:中级

数据投毒发生在模型训练阶段:攻击者不直接改动模型,而是通过污染训练样本,让模型在错误的数据上学习,最终在推理时性能下降或做出错误判断。它之所以危险,是因为现代训练常依赖开放数据集、用户反馈与自动化采集,攻击者只要影响数据入口,就能间接改变模型的决策边界。被动投毒把有毒数据放到网上等待被爬取,主动投毒则把毒样本直接送进数据收集器。与推理阶段的对抗样本不同,投毒的损害在训练完成后才固化,因此防护重点应放在数据来源核验与训练数据清洗上,可结合[[数据窃取升级]]理解数据入口被滥用的另一种后果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据安全:攻击 4.1 数据投毒 · 查看原书依据

      数据投毒(也称投毒攻击)是一种训练阶段的攻击,其通过污染训练数据来干扰模型的训练,从而达到降低模型的推理性能的目的。投毒攻击的一般流程如图4.1所示。在实际场景中,投毒者可以通过两种方式实施投毒攻击,即被动攻击和主动攻击。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第4章《数据安全:攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter9_0002.xhtml) - 结论依据:数据投毒发生在模型训练阶段:攻击者不直接改动模型,而是通过污染训练样本,让模型在错误的数据上学习,最终在推理时性能下降或,原文从「4.1 数据投毒」处给出对应机制与依据,支撑本卡结论。 - 原始内容:数据投毒(也称投毒攻击)是一种训练阶段的攻击,其通过污染训练数据来干扰模型的训练,从而达到降低模型的推理性能的目的。投毒攻击的一般流程如图4.1所示。在实际场景中,投毒者可以通过两种方式实施投毒攻击,即被动攻击和主动攻击。