知识卡片
模型服务并非保密屏障
模型即使只通过黑盒接口提供服务,查询产生的信息也可能被用来近似其功能。模型后门则使特定条件触发隐藏行为,因模型不透明而较难发现。接口隔离与行为安全是两层问题,不能由不公开参数直接推得模型不可窃取或不存在后门。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 概述 学习系统的特有薄弱环节 · 查看原书依据
模型窃取攻击是指攻击者通过窃取神经网络模型而进行的攻击。在将机器学习作为一项服务开放给使用者的系统中,攻击者能够在不了解模型参数及训练信息的情况下,通过访问为机器学习提供服务的系统黑盒子,对模型进行窃取。被窃取的模型进而能够为攻击者提供模型
参考来源
- 位置:《人工智能安全》概述,学习系统的特有薄弱环节(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0004.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:模型窃取攻击是指攻击者通过窃取神经网络模型而进行的攻击。在将机器学习作为一项服务开放给使用者的系统中,攻击者能够在不了解模型参数及训练信息的情况下,通过访问为机器学习提供服务的系统黑盒子,对模型进行窃取。被窃取的模型进而能够为攻击者提供模型