知识卡片
能力与对齐不是一回事
两个维度
- 能力:模型能做什么,包括任务范围、知识广度、它实际优化的目标函数。
- 对齐:模型的目标是否真的是人类想要的目标。
四象限里最容易被忽略的是“有能力但不做”:模型完全具备执行某任务的本领,却因为优化的是另一个目标而选择不做,这叫误对齐。与之相对的是无能——根本没有这个本领,再怎么对齐也没用。
为什么大模型天然不对齐
预训练只要求“预测下一个词元”,也就是最大化训练语料的似然。语料里有什么,模型就学什么:其中有帮助人的内容,也有虚假信息、攻击性语言、隐私与错误代码。于是“做一个有用、诚实、无害的助手”和“忠实复现语料分布”这两个目标并不重合,甚至部分冲突。
关键区分
对齐失败不是“模型不够聪明”,而是“目标写错了”。因此解决办法不是加数据、加参数,而是更换或补充目标信号——这正是本章后续所有方法的共同起点。另一个常被混淆的点:对齐良好的模型也可能拒绝回答,拒绝是目标函数的结果,不是能力缺陷。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训练的,但我们希望将它们用于有用且有价值的认知任务,这可能与其最初的训练目标不符。这种不匹配可能会导致一些问题,如模型的行为与预期不符、产生幻觉或生成有害或有毒的内容等。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训…」为中心展开,本卡的核心判断「两个维度 - 能力:模型能做什么,包括任务范围、知识广度、它实际优化的目标函数。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训练的,但我们希望将它们用于有用且有价值的认知任务,这可能与其最初的训练目标不符。这种不匹配可能会导致一些问题,如模型的行为与预期不符、产生幻觉或生成有害或有毒的内容等。