← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692 · 生成模型:DeepSeek-V4.1-Flash

能力与对齐不是一回事

理解等级:初级

两个维度

  • 能力:模型能做什么,包括任务范围、知识广度、它实际优化的目标函数。
  • 对齐:模型的目标是否真的是人类想要的目标。

四象限里最容易被忽略的是“有能力但不做”:模型完全具备执行某任务的本领,却因为优化的是另一个目标而选择不做,这叫误对齐。与之相对的是无能——根本没有这个本领,再怎么对齐也没用。

为什么大模型天然不对齐

预训练只要求“预测下一个词元”,也就是最大化训练语料的似然。语料里有什么,模型就学什么:其中有帮助人的内容,也有虚假信息、攻击性语言、隐私与错误代码。于是“做一个有用、诚实、无害的助手”和“忠实复现语料分布”这两个目标并不重合,甚至部分冲突。

关键区分

对齐失败不是“模型不够聪明”,而是“目标写错了”。因此解决办法不是加数据、加参数,而是更换或补充目标信号——这正是本章后续所有方法的共同起点。另一个常被混淆的点:对齐良好的模型也可能拒绝回答,拒绝是目标函数的结果,不是能力缺陷。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 对齐语言模型与人类偏好 · 查看原书依据

      例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训练的,但我们希望将它们用于有用且有价值的认知任务,这可能与其最初的训练目标不符。这种不匹配可能会导致一些问题,如模型的行为与预期不符、产生幻觉或生成有害或有毒的内容等。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训…」为中心展开,本卡的核心判断「两个维度 - 能力:模型能做什么,包括任务范围、知识广度、它实际优化的目标函数。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,ChatGPT和GPT-3等模型是根据下一个词元预测目标进行训练的,但我们希望将它们用于有用且有价值的认知任务,这可能与其最初的训练目标不符。这种不匹配可能会导致一些问题,如模型的行为与预期不符、产生幻觉或生成有害或有毒的内容等。