知识卡片

普通读书笔记卡 · 9692.d · 生成模型:DeepSeek-V4.1-Flash

PPO 里的三个模型与 KL

理解等级:中级

同时在场的东西

角色 作用 是否更新
策略模型 生成回答,被优化 是
参考模型(SFT) 提供 KL 惩罚的锚点 否
奖励模型 给“提示+回答”打分 否
价值头 估计基线,降低方差 是

常说的“三模型”指策略、参考、奖励;PPO 还需要一个价值函数估优势,实践中常与策略共享主体、只加一个线性头。

KL 为什么必要

奖励模型只在人标注过的那片区域可信。策略一旦离开这片区域,RM 的打分就是外推,可能把荒谬回答打成高分。KL 惩罚按词元累加,控制新策略与 SFT 输出的距离,等于给优化划了一个信任区域:既防止过度优化奖励,也保住语言的流畅性与多样性。系数 β 控制松紧,β 太小则跑飞,太大则学不动。另一种做法是用 PPO-ptx 混入预训练梯度,用系数 γ 控制,PPO 模式下取 0。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「通过实施KL惩罚,可以使响应接近步骤1中训练的SFT模型的输出,从而…」为中心展开,本卡的核心判断「同时在场的东西 | 角色 | 作用 | 是否更新 | | --- | --- |」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:通过实施KL惩罚,可以使响应接近步骤1中训练的SFT模型的输出,从而防止奖励模型过度优化,并确保响应与人类意图数据集保持对齐。