← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9692.h · 生成模型:DeepSeek-V4.1-Flash

GDC:对齐分布而非单条输出

理解等级:中级

问题

RLHF 奖励的是单条序列:这条回答好不好。但有些偏好是分布层面的——生成的人名里男女各占一半、整体上不出现某类词。单条打分表达不了“比例”,只能靠奖励塑形硬凑。

两步做法

  1. 用基于能量的模型写出目标分布:p(x) 正比于 a(x) 乘以 exp(λ 点乘 φ(x))。a 是预训练模型,φ 是若干可测特征(如是否提到某性别),λ 是系数。要求采样出的特征期望接近给定值 μ,这叫矩约束;同时 p 与 a 的 KL 要小,避免跑偏。
  2. 用分布策略梯度(DPG)训练一个自回归策略 π,最小化它到 p 的前向 KL。EBM 能算概率比却没法直接采样,DPG 就是补上“怎么采”的一步,配合 KL 自适应更新建议分布以加快收敛。

好处与边界

因为始终拉着与预训练模型的 KL,灾难性遗忘被抑制,还能处理配额类偏好。二元约束是其特例:要屏蔽脏话,取 p 正比于 a 乘以 b(x),b 在含脏词时为 0。代价是要事先说清特征与目标比例,特征选错就优化错了对象。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时…」为中心展开,本卡的核心判断「问题 RLHF 奖励的是单条序列:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时最小化与原始预训练语言模型之间的KL散度。这解决了“灾难性遗忘”的问题,还能处理性别平衡等分配偏好。