知识卡片
对齐的收益是有条件的
别把对齐当成“能力升级”
InstructGPT 的评估给出了一幅很有分寸的图景:在留出测试集上,其输出在约 85% 的时间里优于 GPT-3;在真实性问答集上,真实性与信息量只是略有提升,不是质变。也就是说,对齐主要改善“是否符合人的意图与表达习惯”,对事实正确性的帮助有限——幻觉要靠检索、工具与验证,不是靠偏好学习。
毒性结果最值得琢磨
- 被要求“尊重地作答”时,毒性回答明显减少。
- 不加这类要求时,毒性没有明显变化。
- 被明确要求给出有毒回答时,模型反而比 GPT-3 更毒。
这说明对齐学到的是“在什么条件下应当表现成什么样”,是行为塑造而非能力切除。模型并未丧失生成有害内容的能力,只是学会了在默认与礼貌语境下抑制它;一旦语境给出许可,能力就重新释放。
推论
align 的效果高度依赖提示措辞与评测集设计,单点指标会误导。评估必须分场景、分条件报告,并同时看有用性、真实性、无害性与拒答率——只报一个维度,等于给了模型一条刷分路径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
当被要求做出尊重他人的回答时,该模型明显减少了毒性回答。当不限制尊敬程度时,毒性没有明显变化。但是,当指示提供毒性回答时,该模型的响应明显比GPT-3模型的毒性更大。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「当被要求做出尊重他人的回答时,该模型明显减少了毒性回答。当不限制尊敬…」为中心展开,本卡的核心判断「别把对齐当成“能力升级” InstructGPT 的评估给出了一幅很有分寸的图景:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:当被要求做出尊重他人的回答时,该模型明显减少了毒性回答。当不限制尊敬程度时,毒性没有明显变化。但是,当指示提供毒性回答时,该模型的响应明显比GPT-3模型的毒性更大。