知识卡片
后门移除路径
后门移除在检测之后清除模型中的后门,目标既要移除触发器影响,又要保持主任务性能不下降。路径分两类:训练中移除在毒化数据上通过局部梯度上升隔离后门样本、全局梯度上升让模型遗忘后门关联,直接学出干净模型;训练后移除则借助少量干净数据做微调、剪枝、蒸馏,让触发器路径失效。关键不是整体重训,而是精准削弱后门神经元而保留正常能力。[[剪枝防御优势]]讨论的剪枝便是训练后移除的常用手段。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:后门防御 9.3.2 训练后移除 · 查看原书依据
但是触发器重建通常比较耗时,所以现有的训练后移除方法大多不基于触发器重建进行,而是假设防御者有少量的干净数据用以模型净化。这些少量的干净数据可以用来对模型进行微调、蒸馏等操作,以达到修复模型的目的。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第9章《模型安全:后门防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter14_0004.xhtml)
- 结论依据:后门移除在检测之后清除模型中的后门,目标既要移除触发器影响,又要保持主任务性能不下降。路径分两类:训练中移除在毒化数据上,原文从「9.3.2 训练后移除」处给出对应机制与依据,支撑本卡结论。
- 原始内容:但是触发器重建通常比较耗时,所以现有的训练后移除方法大多不基于触发器重建进行,而是假设防御者有少量的干净数据用以模型净化。这些少量的干净数据可以用来对模型进行微调、蒸馏等操作,以达到修复模型的目的。