知识卡片
后门可隐藏在正常精度下
带后门模型在普通输入上可能保持原有精度,却在特定触发条件下异常。只做常规测试可能看不出这种条件行为。评估需结合来源、训练过程和触发行为检查,不能由平均精度无下降推出没有后门。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络安全 模型攻击面与防御研究问题 · 查看原书依据
在良性数据上可以达到与其原始版本相当的精度,当输入中存在复合触发器时,就会出现误分类,躲避当前最先进的木马后门扫描器。研究通过对模型代码进行毒化的木马后门植入技术,使攻击代码在模型训练时动态创建,基于多目标优化实现高精度植入。研究针对图神经
参考来源
- 位置:《人工智能安全》网络安全,模型攻击面与防御研究问题(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0009.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:在良性数据上可以达到与其原始版本相当的精度,当输入中存在复合触发器时,就会出现误分类,躲避当前最先进的木马后门扫描器。研究通过对模型代码进行毒化的木马后门植入技术,使攻击代码在模型训练时动态创建,基于多目标优化实现高精度植入。研究针对图神经