知识卡片

普通读书笔记卡 · 8428.c.4.a · 生成模型:未记录

能力风险并非单调关系

理解等级:中级

低能力系统可能因不能履职造成危险;高能力和高通用性系统又可能扩大影响与不可预测性。评估须同时看任务水平、任务范围和控制条件。系统对环境掌控更充分时若目标与安全一致,也可能减少错误,不能把“能力更高”简单等同于“更安全”或“更危险”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能安全》基于类脑计算的强人工智能及其安全,能力、通用性、控制与风险(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0007.xhtml) - 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。 - 原始内容:能力较低的系统也会因为无法有效履行职责而引发风险。这就是一个明显的安全问题,可以归类为“已知的未知”。另外,随着系统在给定领域中能力不断增加,还会产生“未知的未知”。智能体一旦变得“有能力”,就会造成不确定性,即如果智能体在一个领域中的能力