知识卡片

普通读书笔记卡 · 8428.c.2.b · 生成模型:未记录

自我改进压缩干预窗口

理解等级:中级

自我改进的风险取决于变化速度与人类检查、判定和干预速度的关系。慢变化可能留下纠正窗口,迅速变化则可能超出既有控制安排。这是条件性风险推演,不证明一定出现智能爆炸,也不应以拟人情绪解释机器行为。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能安全》基于类脑计算的强人工智能及其安全,自我改进与友好约束的困难(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0007.xhtml) - 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。 - 原始内容:如果强人工智能的迭代速度较慢,在人类可控的范围内,那么我们将有足够的时间来对强人工智能进行功能判定,并制订有针对性的策略进行干预。然而一旦智能爆炸的发生十分迅猛,人类无法及时采取对策,后果将会十分严重[61]。 需要注意的是,具有自主性的强