知识卡片
可扩展的监督
问题
对齐依赖人类判断,但人的审核能力有上限:模型每天产出百万条回答,不可能条条过目;更麻烦的是,当模型在某些领域超过人时,人已经没有资格评判对错。
主张
把监督工作交给另一个 AI 系统。它可以逐条检查输出是否符合给定原则,成本远低于人力,且不会疲劳。这叫可扩展的监督:监督能力随被监督系统的产出一起扩展,而不是被人类带宽卡住。宪法式 AI 就是它的一个落地形态——反馈模型代替人做“哪个更有害”的判断。
边界
监督者与被监督者往往同源,共享同样的盲区与偏见,于是错误会被平滑地继承而非纠正;若监督者本身被攻击或诱导,整条链路一起失效。因此它更像“把人的判断力浓缩进原则与少量示例”,而非真正取消人。相关路线还包括让 AI 协助人做判断的迭代放大,以及让两个模型互相辩论、由人裁决。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
由人类来验证大语言模型生成的每个响应是不切实际的,但是备用人工智能系统可以为每个响应执行这项任务。这种想法通常被称为可扩展的监督
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「由人类来验证大语言模型生成的每个响应是不切实际的,但是备用人工智能系…」为中心展开,本卡的核心判断「问题 对齐依赖人类判断,但人的审核能力有上限:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:由人类来验证大语言模型生成的每个响应是不切实际的,但是备用人工智能系统可以为每个响应执行这项任务。这种想法通常被称为可扩展的监督