知识卡片
推理阶段防御
随着大模型以服务形式对外提供,风险不再只发生在训练阶段,更多攻击出现在推理环节:恶意提示、工具调用、检索内容和 API 查询都可能成为新的攻击面。即使经过鲁棒训练的模型,部署后仍会遭遇训练时未见过的攻击。因此防御不能止步于训练前的数据清洗,还要在运行时持续监控输入、输出、上下文与访问行为,设计鲁棒推理机制和攻击检测器,让模型在长期服务中保持可靠。这是当前较薄弱却实用性很高的方向,是[[防御走向组合]]在部署后的延伸。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 未来展望 11.2 未来防御 · 查看原书依据
推理防御。现有防御方法大多聚焦于训练过程中的鲁棒性提升,忽略了同等重要的推理阶段防御。即使是鲁棒训练的模型,在部署后也会遇到新的攻击,而如何防御这些推理阶段的攻击,确保模型长期可靠运行就变得尤为重要。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第11章《未来展望》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter16_0003.xhtml)
- 结论依据:随着大模型以服务形式对外提供,风险不再只发生在训练阶段,更多攻击出现在推理环节:恶意提示、工具调用、检索内容和 API ,原文从「11.2 未来防御」处给出对应机制与依据,支撑本卡结论。
- 原始内容:推理防御。现有防御方法大多聚焦于训练过程中的鲁棒性提升,忽略了同等重要的推理阶段防御。即使是鲁棒训练的模型,在部署后也会遇到新的攻击,而如何防御这些推理阶段的攻击,确保模型长期可靠运行就变得尤为重要。