知识卡片

普通读书笔记卡 · 9459.b · 生成模型:Claude Opus 4.6

对抗训练闭环

理解等级:中级

对抗训练把攻击生成的样本重新放回训练过程,让模型在最坏邻域内也尽量保持正确,形成“生成攻击—更新模型”不断迭代的闭环。它是目前经验上最有效的防御,模型本身即具备鲁棒性,无需依赖额外的去噪或检测模块。代价同样明显:训练耗时可达正常训练的八到十倍,容易过拟合训练数据,还会拉低干净样本上的自然准确率。这些代价说明对抗训练并非免费午餐,实际部署常要配合加速技巧或与其他防御组合。它针对的是模型自身的鲁棒性,与 [[检测防御局限]] 中的外部检测思路形成对照。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型安全:对抗防御 7.3 对抗训练 · 查看原书依据

      对抗训练是已知最有效的对抗防御方法,其通过在对抗样本上训练模型来提升模型自身的鲁棒性。此外,对抗训练以及前面介绍的对抗样本检测是领域内研究最多的两种防御方式,其中对抗训练可以被视为一种主动防御而对抗样本检测是一种被动防御。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第7章《模型安全:对抗防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter12_0004.xhtml) - 结论依据:对抗训练把攻击生成的样本重新放回训练过程,让模型在最坏邻域内也尽量保持正确,形成“生成攻击—更新模型”不断迭代的闭环。它,原文从「7.3 对抗训练」处给出对应机制与依据,支撑本卡结论。 - 原始内容:对抗训练是已知最有效的对抗防御方法,其通过在对抗样本上训练模型来提升模型自身的鲁棒性。此外,对抗训练以及前面介绍的对抗样本检测是领域内研究最多的两种防御方式,其中对抗训练可以被视为一种主动防御而对抗样本检测是一种被动防御。