知识卡片
有益目标
AI 的长期目标不应只是更强能力,而是让能力稳定服务人类价值。越强的系统越需要处理目标不确定性、纠错和人类监督;能力增长必须伴随对齐能力增长。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 人工智能的未来 28.1 人工智能组件 · 查看原书依据
然而在实践中,选择正确的效用函数本身就是一件富有挑战性的任务。试想一个扮演办公室助理角色的智能体,它必须要理解交互偏好构成的复杂网络。而人与人之间的差异性更进一步加剧了这一问题,任何一个开箱即用的智能体都缺少足够的经验学习准确的个体偏好模型,它必然需要在偏好不确定性下工作。
参考来源
- 位置:《人工智能:现代方法(第4版)(上下册)》第28章《人工智能的未来》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0051_split_001.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:AI 的长期目标不应只是更强能力,而是让能力稳定服务人类价值。原文从「28.1 人工智能组件」处给出对应机制与依据,支撑本卡结论。
- 原始内容:然而在实践中,选择正确的效用函数本身就是一件富有挑战性的任务。试想一个扮演办公室助理角色的智能体,它必须要理解交互偏好构成的复杂网络。而人与人之间的差异性更进一步加剧了这一问题,任何一个开箱即用的智能体都缺少足够的经验学习准确的个体偏好模型,它必然需要在偏好不确定性下工作。