知识卡片
自我改进压缩干预窗口
自我改进的风险取决于变化速度与人类检查、判定和干预速度的关系。慢变化可能留下纠正窗口,迅速变化则可能超出既有控制安排。这是条件性风险推演,不证明一定出现智能爆炸,也不应以拟人情绪解释机器行为。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 基于类脑计算的强人工智能及其安全 自我改进与友好约束的困难 · 查看原书依据
如果强人工智能的迭代速度较慢,在人类可控的范围内,那么我们将有足够的时间来对强人工智能进行功能判定,并制订有针对性的策略进行干预。然而一旦智能爆炸的发生十分迅猛,人类无法及时采取对策,后果将会十分严重[61]。 需要注意的是,具有自主性的强
参考来源
- 位置:《人工智能安全》基于类脑计算的强人工智能及其安全,自我改进与友好约束的困难(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0007.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。
- 原始内容:如果强人工智能的迭代速度较慢,在人类可控的范围内,那么我们将有足够的时间来对强人工智能进行功能判定,并制订有针对性的策略进行干预。然而一旦智能爆炸的发生十分迅猛,人类无法及时采取对策,后果将会十分严重[61]。 需要注意的是,具有自主性的强