← 返回起始笔记位置

知识卡片

结构图卡 · 9692.b · 生成模型:DeepSeek-V4.1-Flash

RLHF 的三步流水线

理解等级:中级

三步各自解决一个子问题,缺一不可。

  1. 监督微调(SFT):收集标注者写的示范回答,用普通监督学习微调预训练模型。产物是一个“大致听话”的策略,它同时也充当后面 KL 惩罚的锚点。
  2. 奖励模型(RM):对同一提示采样多条回答,让人两两比较,训练一个输入“提示+回答”、输出标量奖励的模型。实现上常从 SFT 模型出发、去掉最后的解嵌入层,把语言模型改造成打分器。
  3. 强化学习(PPO):策略对随机提示生成回答,RM 给分,用 PPO 更新策略以最大化得分,同时加 KL 惩罚贴近 SFT 模型。环境按多臂老虎机方式运行:一个提示、一次回答、一个奖励、回合结束。

两个工程细节 把预训练梯度混进 PPO 梯度,就得到 PPO-ptx,用来缓解纯对齐训练造成的通用能力回退。步骤 2 与 3 原则上可以反复迭代——用当前最优策略重新采样、重训奖励模型——但实践中很少彻底执行,因为成本高且收益不稳定。

结构图:

flowchart LR
  P[提示分布] --> S[监督微调SFT]
  S --> G[采样多条回答]
  G --> C[人工成对比较]
  C --> R[训练奖励模型]
  R --> O[PPO优化策略]
  S -.KL锚点.-> O
  O --> E[留出集评估]
  E -.再采样.-> G
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「在开发RLHF时,第三方人类数据标注者会根据提示提供他们对各种输出的…」为中心展开,本卡的核心判断「三步各自解决一个子问题,缺一不可。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在开发RLHF时,第三方人类数据标注者会根据提示提供他们对各种输出的偏好。这些数据可以用于训练奖励模型,以预测人类偏好的输出结果。