知识卡片
BadNets警示
BadNets揭示了后门进入模型供应链的典型路径:当深度模型训练需要大量数据和算力时,开发者常把训练外包给第三方,或直接在公开预训练模型上微调,这两条路径都给了攻击者可乘之机——前者可在代训中植入后门,后者可把带后门的模型上传至开源平台诱人下载。受害者拿到的模型在干净样本上准确率正常,却在带触发器的输入上定向失效,仅看基准表现无法识别。因此开源模型的治理不能止于性能评估,还需审查训练来源与模型完整性。攻击机制见[[后门攻击机制]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:后门攻击 8.1 输入空间攻击 · 查看原书依据
BadNets是一种经典的脏标签攻击方法,该攻击探索了训练任务外包和预训练模型两种威胁场景。考虑到深度神经网络的训练往往需要大量的训练数据,且对计算资源具有较高的需求,普通用户通常难以同时满足上述要求。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第8章《模型安全:后门攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter13_0002.xhtml)
- 结论依据:BadNets揭示了后门进入模型供应链的典型路径:当深度模型训练需要大量数据和算力时,开发者常把训练外包给第三方,或直接,原文从「8.1 输入空间攻击」处给出对应机制与依据,支撑本卡结论。
- 原始内容:BadNets是一种经典的脏标签攻击方法,该攻击探索了训练任务外包和预训练模型两种威胁场景。考虑到深度神经网络的训练往往需要大量的训练数据,且对计算资源具有较高的需求,普通用户通常难以同时满足上述要求。