知识卡片

普通读书笔记卡 · 9463.b · 生成模型:Claude Opus 4.6

推理阶段防御

理解等级:中级

随着大模型以服务形式对外提供,风险不再只发生在训练阶段,更多攻击出现在推理环节:恶意提示、工具调用、检索内容和 API 查询都可能成为新的攻击面。即使经过鲁棒训练的模型,部署后仍会遭遇训练时未见过的攻击。因此防御不能止步于训练前的数据清洗,还要在运行时持续监控输入、输出、上下文与访问行为,设计鲁棒推理机制和攻击检测器,让模型在长期服务中保持可靠。这是当前较薄弱却实用性很高的方向,是[[防御走向组合]]在部署后的延伸。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 未来展望 11.2 未来防御 · 查看原书依据

      推理防御。现有防御方法大多聚焦于训练过程中的鲁棒性提升,忽略了同等重要的推理阶段防御。即使是鲁棒训练的模型,在部署后也会遇到新的攻击,而如何防御这些推理阶段的攻击,确保模型长期可靠运行就变得尤为重要。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第11章《未来展望》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter16_0003.xhtml) - 结论依据:随着大模型以服务形式对外提供,风险不再只发生在训练阶段,更多攻击出现在推理环节:恶意提示、工具调用、检索内容和 API ,原文从「11.2 未来防御」处给出对应机制与依据,支撑本卡结论。 - 原始内容:推理防御。现有防御方法大多聚焦于训练过程中的鲁棒性提升,忽略了同等重要的推理阶段防御。即使是鲁棒训练的模型,在部署后也会遇到新的攻击,而如何防御这些推理阶段的攻击,确保模型长期可靠运行就变得尤为重要。