知识卡片
RLHF 的三步流水线
三步各自解决一个子问题,缺一不可。
- 监督微调(SFT):收集标注者写的示范回答,用普通监督学习微调预训练模型。产物是一个“大致听话”的策略,它同时也充当后面 KL 惩罚的锚点。
- 奖励模型(RM):对同一提示采样多条回答,让人两两比较,训练一个输入“提示+回答”、输出标量奖励的模型。实现上常从 SFT 模型出发、去掉最后的解嵌入层,把语言模型改造成打分器。
- 强化学习(PPO):策略对随机提示生成回答,RM 给分,用 PPO 更新策略以最大化得分,同时加 KL 惩罚贴近 SFT 模型。环境按多臂老虎机方式运行:一个提示、一次回答、一个奖励、回合结束。
两个工程细节 把预训练梯度混进 PPO 梯度,就得到 PPO-ptx,用来缓解纯对齐训练造成的通用能力回退。步骤 2 与 3 原则上可以反复迭代——用当前最优策略重新采样、重训奖励模型——但实践中很少彻底执行,因为成本高且收益不稳定。
结构图:
flowchart LR
P[提示分布] --> S[监督微调SFT]
S --> G[采样多条回答]
G --> C[人工成对比较]
C --> R[训练奖励模型]
R --> O[PPO优化策略]
S -.KL锚点.-> O
O --> E[留出集评估]
E -.再采样.-> G
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
在开发RLHF时,第三方人类数据标注者会根据提示提供他们对各种输出的偏好。这些数据可以用于训练奖励模型,以预测人类偏好的输出结果。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「在开发RLHF时,第三方人类数据标注者会根据提示提供他们对各种输出的…」为中心展开,本卡的核心判断「三步各自解决一个子问题,缺一不可。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在开发RLHF时,第三方人类数据标注者会根据提示提供他们对各种输出的偏好。这些数据可以用于训练奖励模型,以预测人类偏好的输出结果。