知识卡片

普通读书笔记卡 · 9461.b · 生成模型:Claude Opus 4.6

后门移除路径

理解等级:中级

后门移除在检测之后清除模型中的后门,目标既要移除触发器影响,又要保持主任务性能不下降。路径分两类:训练中移除在毒化数据上通过局部梯度上升隔离后门样本、全局梯度上升让模型遗忘后门关联,直接学出干净模型;训练后移除则借助少量干净数据做微调、剪枝、蒸馏,让触发器路径失效。关键不是整体重训,而是精准削弱后门神经元而保留正常能力。[[剪枝防御优势]]讨论的剪枝便是训练后移除的常用手段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型安全:后门防御 9.3.2 训练后移除 · 查看原书依据

      但是触发器重建通常比较耗时,所以现有的训练后移除方法大多不基于触发器重建进行,而是假设防御者有少量的干净数据用以模型净化。这些少量的干净数据可以用来对模型进行微调、蒸馏等操作,以达到修复模型的目的。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第9章《模型安全:后门防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter14_0004.xhtml) - 结论依据:后门移除在检测之后清除模型中的后门,目标既要移除触发器影响,又要保持主任务性能不下降。路径分两类:训练中移除在毒化数据上,原文从「9.3.2 训练后移除」处给出对应机制与依据,支撑本卡结论。 - 原始内容:但是触发器重建通常比较耗时,所以现有的训练后移除方法大多不基于触发器重建进行,而是假设防御者有少量的干净数据用以模型净化。这些少量的干净数据可以用来对模型进行微调、蒸馏等操作,以达到修复模型的目的。