知识卡片
PPO 里的三个模型与 KL
同时在场的东西
| 角色 | 作用 | 是否更新 |
|---|---|---|
| 策略模型 | 生成回答,被优化 | 是 |
| 参考模型(SFT) | 提供 KL 惩罚的锚点 | 否 |
| 奖励模型 | 给“提示+回答”打分 | 否 |
| 价值头 | 估计基线,降低方差 | 是 |
常说的“三模型”指策略、参考、奖励;PPO 还需要一个价值函数估优势,实践中常与策略共享主体、只加一个线性头。
KL 为什么必要
奖励模型只在人标注过的那片区域可信。策略一旦离开这片区域,RM 的打分就是外推,可能把荒谬回答打成高分。KL 惩罚按词元累加,控制新策略与 SFT 输出的距离,等于给优化划了一个信任区域:既防止过度优化奖励,也保住语言的流畅性与多样性。系数 β 控制松紧,β 太小则跑飞,太大则学不动。另一种做法是用 PPO-ptx 混入预训练梯度,用系数 γ 控制,PPO 模式下取 0。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
通过实施KL惩罚,可以使响应接近步骤1中训练的SFT模型的输出,从而防止奖励模型过度优化,并确保响应与人类意图数据集保持对齐。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「通过实施KL惩罚,可以使响应接近步骤1中训练的SFT模型的输出,从而…」为中心展开,本卡的核心判断「同时在场的东西 | 角色 | 作用 | 是否更新 | | --- | --- |」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:通过实施KL惩罚,可以使响应接近步骤1中训练的SFT模型的输出,从而防止奖励模型过度优化,并确保响应与人类意图数据集保持对齐。