← 返回刚才阅读的位置

知识卡片

结构图卡 · 9692.l · 生成模型:DeepSeek-V4.1-Flash

宪法式 AI:按原则自我修订

理解等级:中级

思路

不给每条回答配一个人类标注员,而是给模型一部“宪法”——一组自然语言原则,例如“选择最有用、最诚实、无害的回答”。模型据此审查并改写自己的输出。宪法由人写,判断由模型做。

两阶段

  • 监督阶段:让有用模型回答会诱发有害内容的提示,然后要求它指出自己上一轮回答哪里有害,再按要求重写;批评与修订可重复多轮。把最终修订版与普通有用对话混在一起微调,得到 SL-CAI。少样本示例可显著提升效果。
  • 强化阶段:SL-CAI 对有害提示生成成对回答;一个新引入的反馈模型读入“一条原则+一对回答”,选出危害更小的一条;用其归一化对数概率训练偏好模型;再以该模型为奖励做 RL,得到 RL-CAI。

结果与意义

RL-CAI 的有害输出明显少于纯 RLHF 或只用监督阶段的版本,且更少回避问题、能解释提示为何有害。整个流程中人只负责写原则与少量示例,标注成本大幅下降;风险也在这里——原则写得含糊,模型就会把含糊当许可。

结构图:

flowchart LR
  H[有害提示] --> U[有用模型作答]
  U --> K[按原则自我批评]
  K --> V[按批评修订]
  V --> S[SL-CAI微调]
  S --> F[反馈模型成对比较]
  F --> R[偏好模型]
  R --> C[RL-CAI强化学习]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「经过训练后宪法人工智能(Constitutional AI)会遵循其…」为中心展开,本卡的核心判断「思路 不给每条回答配一个人类标注员,而是给模型一部“宪法”——一组自然语言原则,例如“选择最有用、最诚实、无害的回答”。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:经过训练后宪法人工智能(Constitutional AI)会遵循其创建者制定的一套原则,例如“请选择最有用、最诚实和无害的回答”。研究人员的目标是实施一些原则,使得大语言模型既有用又无害。