知识卡片
GDC:对齐分布而非单条输出
问题
RLHF 奖励的是单条序列:这条回答好不好。但有些偏好是分布层面的——生成的人名里男女各占一半、整体上不出现某类词。单条打分表达不了“比例”,只能靠奖励塑形硬凑。
两步做法
- 用基于能量的模型写出目标分布:p(x) 正比于 a(x) 乘以 exp(λ 点乘 φ(x))。a 是预训练模型,φ 是若干可测特征(如是否提到某性别),λ 是系数。要求采样出的特征期望接近给定值 μ,这叫矩约束;同时 p 与 a 的 KL 要小,避免跑偏。
- 用分布策略梯度(DPG)训练一个自回归策略 π,最小化它到 p 的前向 KL。EBM 能算概率比却没法直接采样,DPG 就是补上“怎么采”的一步,配合 KL 自适应更新建议分布以加快收敛。
好处与边界
因为始终拉着与预训练模型的 KL,灾难性遗忘被抑制,还能处理配额类偏好。二元约束是其特例:要屏蔽脏话,取 p 正比于 a 乘以 b(x),b 在含脏词时为 0。代价是要事先说清特征与目标比例,特征选错就优化错了对象。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时最小化与原始预训练语言模型之间的KL散度。这解决了“灾难性遗忘”的问题,还能处理性别平衡等分配偏好。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时…」为中心展开,本卡的核心判断「问题 RLHF 奖励的是单条序列:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时最小化与原始预训练语言模型之间的KL散度。这解决了“灾难性遗忘”的问题,还能处理性别平衡等分配偏好。