知识卡片
信息模糊代价
信息模糊是一类模型窃取防御:在保证正常服务性能的前提下,扰动模型返回输出中的敏感信息,让攻击者难以从查询中还原决策边界。常见做法包括只返回概率最大的类别、将输出限制为前 k 类、对置信度分数四舍五入、提高 softmax 温度以增大输出熵,以及向输出、目标函数或梯度添加噪声(差分隐私)。这类防御的代价很明确:模糊得越多,泄露信息越少、抗窃取越强,但模型性能与正常用户的体验下降也越多,二者必须权衡设计。正则化虽能减少过拟合带来的边界泄露,强度过大却会损害准确率。模糊是在事前干扰攻击者可见的信号,与事后追责的[[水印与溯源]]互为补充。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型安全:窃取攻防 10.2.1 信息模糊 · 查看原书依据
然而此类防御也存在一定的局限性,需要在模糊强度和性能保持方面做一个权衡,模糊更多信息会导致模型性能下降更多,但是防御窃取攻击更有效,反之亦然。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第10章《模型安全:窃取攻防》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter15_0003.xhtml)
- 结论依据:信息模糊是一类模型窃取防御:在保证正常服务性能的前提下,扰动模型返回输出中的敏感信息,让攻击者难以从查询中还原决策边界,原文从「10.2.1 信息模糊」处给出对应机制与依据,支撑本卡结论。
- 原始内容:然而此类防御也存在一定的局限性,需要在模糊强度和性能保持方面做一个权衡,模糊更多信息会导致模型性能下降更多,但是防御窃取攻击更有效,反之亦然。