知识卡片
内生与衍生
内生安全关注智能体能否正确完成自身功能;衍生安全关注其应用给其他系统带来的影响。两者并非故障与正常的简单对应:故障可能波及外界,准确执行攻击任务也可能危害外界。风险分析应同时描述功能失效路径和功能被滥用路径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 前言 自主能力为何扩大安全边界 · 查看原书依据
内生安全问题既包含智能体的技术特点、缺陷、脆弱性等可能造成的智能体本身的安全问题(确切地说,该智能体作为具有特定功能的系统不能正确地发挥其特定的功能),也包括该智能体及工作环境的影响或受到其他系统的攻击而不能正确地发挥其特定功能的安全问题。
参考来源
- 位置:《人工智能安全》前言,自主能力为何扩大安全边界(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0003.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:内生安全问题既包含智能体的技术特点、缺陷、脆弱性等可能造成的智能体本身的安全问题(确切地说,该智能体作为具有特定功能的系统不能正确地发挥其特定的功能),也包括该智能体及工作环境的影响或受到其他系统的攻击而不能正确地发挥其特定功能的安全问题。