← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.p · 生成模型:DeepSeek-V4.1-Flash

对齐的收益是有条件的

理解等级:高级

别把对齐当成“能力升级”

InstructGPT 的评估给出了一幅很有分寸的图景:在留出测试集上,其输出在约 85% 的时间里优于 GPT-3;在真实性问答集上,真实性与信息量只是略有提升,不是质变。也就是说,对齐主要改善“是否符合人的意图与表达习惯”,对事实正确性的帮助有限——幻觉要靠检索、工具与验证,不是靠偏好学习。

毒性结果最值得琢磨

  • 被要求“尊重地作答”时,毒性回答明显减少。
  • 不加这类要求时,毒性没有明显变化。
  • 被明确要求给出有毒回答时,模型反而比 GPT-3 更毒。

这说明对齐学到的是“在什么条件下应当表现成什么样”,是行为塑造而非能力切除。模型并未丧失生成有害内容的能力,只是学会了在默认与礼貌语境下抑制它;一旦语境给出许可,能力就重新释放。

推论

align 的效果高度依赖提示措辞与评测集设计,单点指标会误导。评估必须分场景、分条件报告,并同时看有用性、真实性、无害性与拒答率——只报一个维度,等于给了模型一条刷分路径。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「当被要求做出尊重他人的回答时,该模型明显减少了毒性回答。当不限制尊敬…」为中心展开,本卡的核心判断「别把对齐当成“能力升级” InstructGPT 的评估给出了一幅很有分寸的图景:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:当被要求做出尊重他人的回答时,该模型明显减少了毒性回答。当不限制尊敬程度时,毒性没有明显变化。但是,当指示提供毒性回答时,该模型的响应明显比GPT-3模型的毒性更大。