知识卡片
能力风险并非单调关系
低能力系统可能因不能履职造成危险;高能力和高通用性系统又可能扩大影响与不可预测性。评估须同时看任务水平、任务范围和控制条件。系统对环境掌控更充分时若目标与安全一致,也可能减少错误,不能把“能力更高”简单等同于“更安全”或“更危险”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 基于类脑计算的强人工智能及其安全 能力、通用性、控制与风险 · 查看原书依据
能力较低的系统也会因为无法有效履行职责而引发风险。这就是一个明显的安全问题,可以归类为“已知的未知”。另外,随着系统在给定领域中能力不断增加,还会产生“未知的未知”。智能体一旦变得“有能力”,就会造成不确定性,即如果智能体在一个领域中的能力
参考来源
- 位置:《人工智能安全》基于类脑计算的强人工智能及其安全,能力、通用性、控制与风险(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0007.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:能力较低的系统也会因为无法有效履行职责而引发风险。这就是一个明显的安全问题,可以归类为“已知的未知”。另外,随着系统在给定领域中能力不断增加,还会产生“未知的未知”。智能体一旦变得“有能力”,就会造成不确定性,即如果智能体在一个领域中的能力