知识卡片
训练流程攻击面
模型训练不是孤立动作,而是任务定义、数据收集、损失设计、优化更新、验证评估到部署调用的连续链条。链条上每一处为便利做的妥协都会引入攻击面:使用网上开放数据可能被投毒,复用第三方预训练模型可能被植入后门,受限的计算资源迫使人们缩短训练或简化验证,从而放大泛化估计的不确定性;即便在部署阶段,API 输出也可能泄露模型边界信息,为攻击者提供线索。安全分析因此要覆盖整条流水线,而不是只盯着最终模型:每个环节的替代性选择与默认假设都应被重新审视,这也是[[IID假设脆弱性]]所揭示的风险来源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习基础 2.5 本章小结 · 查看原书依据
在这种背景下,我们在实践中的每一种妥协性假设、每一个替代性选择就会带来额外的安全风险,比如借助网上的开放数据或者第三方预训练模型难免会带来被后门攻击和投毒攻击的风险。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第2章《机器学习基础》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter7_0006.xhtml)
- 结论依据:模型训练不是孤立动作,而是任务定义、数据收集、损失设计、优化更新、验证评估到部署调用的连续链条。链条上每一处为便利做的妥,原文从「2.5 本章小结」处给出对应机制与依据,支撑本卡结论。
- 原始内容:在这种背景下,我们在实践中的每一种妥协性假设、每一个替代性选择就会带来额外的安全风险,比如借助网上的开放数据或者第三方预训练模型难免会带来被后门攻击和投毒攻击的风险。