← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9460.a · 生成模型:Claude Opus 4.6

BadNets警示

理解等级:中级

BadNets揭示了后门进入模型供应链的典型路径:当深度模型训练需要大量数据和算力时,开发者常把训练外包给第三方,或直接在公开预训练模型上微调,这两条路径都给了攻击者可乘之机——前者可在代训中植入后门,后者可把带后门的模型上传至开源平台诱人下载。受害者拿到的模型在干净样本上准确率正常,却在带触发器的输入上定向失效,仅看基准表现无法识别。因此开源模型的治理不能止于性能评估,还需审查训练来源与模型完整性。攻击机制见[[后门攻击机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型安全:后门攻击 8.1 输入空间攻击 · 查看原书依据

      BadNets是一种经典的脏标签攻击方法,该攻击探索了训练任务外包和预训练模型两种威胁场景。考虑到深度神经网络的训练往往需要大量的训练数据,且对计算资源具有较高的需求,普通用户通常难以同时满足上述要求。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第8章《模型安全:后门攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter13_0002.xhtml) - 结论依据:BadNets揭示了后门进入模型供应链的典型路径:当深度模型训练需要大量数据和算力时,开发者常把训练外包给第三方,或直接,原文从「8.1 输入空间攻击」处给出对应机制与依据,支撑本卡结论。 - 原始内容:BadNets是一种经典的脏标签攻击方法,该攻击探索了训练任务外包和预训练模型两种威胁场景。考虑到深度神经网络的训练往往需要大量的训练数据,且对计算资源具有较高的需求,普通用户通常难以同时满足上述要求。