知识卡片

普通读书笔记卡 · 9462.b · 生成模型:Claude Opus 4.6

信息模糊代价

理解等级:高级

信息模糊是一类模型窃取防御:在保证正常服务性能的前提下,扰动模型返回输出中的敏感信息,让攻击者难以从查询中还原决策边界。常见做法包括只返回概率最大的类别、将输出限制为前 k 类、对置信度分数四舍五入、提高 softmax 温度以增大输出熵,以及向输出、目标函数或梯度添加噪声(差分隐私)。这类防御的代价很明确:模糊得越多,泄露信息越少、抗窃取越强,但模型性能与正常用户的体验下降也越多,二者必须权衡设计。正则化虽能减少过拟合带来的边界泄露,强度过大却会损害准确率。模糊是在事前干扰攻击者可见的信号,与事后追责的[[水印与溯源]]互为补充。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第10章《模型安全:窃取攻防》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter15_0003.xhtml) - 结论依据:信息模糊是一类模型窃取防御:在保证正常服务性能的前提下,扰动模型返回输出中的敏感信息,让攻击者难以从查询中还原决策边界,原文从「10.2.1 信息模糊」处给出对应机制与依据,支撑本卡结论。 - 原始内容:然而此类防御也存在一定的局限性,需要在模糊强度和性能保持方面做一个权衡,模糊更多信息会导致模型性能下降更多,但是防御窃取攻击更有效,反之亦然。