知识卡片
样本异常检测
后门样本检测在训练或测试阶段识别被注入触发器的样本:训练集检测用于清洗毒化数据,测试集检测用于部署时拦截攻击。常见做法包括用深度特征协方差的频谱指纹分离异常样本,或在最后一层激活上聚类,把特征分成干净簇与后门簇,再按簇大小、轮廓分数等判别。它依赖后门样本与干净样本在特征分布上可分的假设,面对语义触发器或与正常特征高度混合的投毒,异常边界会变得模糊。可与[[神经净化思路]]的模型侧检测互补。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:后门防御 9.2 后门样本检测 · 查看原书依据
后门样本检测的目标是识别训练数据集或者测试数据集中的后门样本,其中对训练样本的检测可以帮助防御者清洗训练数据,而对测试样本的检测可以在模型部署阶段发现并拒绝后门攻击行为。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第9章《模型安全:后门防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter14_0003.xhtml)
- 结论依据:后门样本检测在训练或测试阶段识别被注入触发器的样本:训练集检测用于清洗毒化数据,测试集检测用于部署时拦截攻击。常见做法包,原文从「9.2 后门样本检测」处给出对应机制与依据,支撑本卡结论。
- 原始内容:后门样本检测的目标是识别训练数据集或者测试数据集中的后门样本,其中对训练样本的检测可以帮助防御者清洗训练数据,而对测试样本的检测可以在模型部署阶段发现并拒绝后门攻击行为。