← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.i · 生成模型:DeepSeek-V4.1-Flash

散度选择没有唯一最优

理解等级:高级

统一框架

RLHF 与 GDC 看似两套东西:一个用隐式目标加反向 KL,一个用显式目标加前向 KL。f-DPG 指出二者是同一种操作的不同实例——都是“选一个 f 散度,去把一个策略拉向某个目标分布”。换散度、换目标分布,就得到不同算法。

关键结论

不存在普遍最优的散度。不同散度惩罚的失误不一样:前向 KL 罚“漏掉目标的模式”,反向 KL 罚“在目标没质量的地方乱放质量”,Jensen-Shannon 则在两者间折中、对有重叠的分布更平滑。所以选择散度等于选择“允许哪种失败”。实验上,GDC 任务里 JS 散度常显著优于前向 KL,但这是任务相关的结论,不能外推成通则。

怎么用这条结论

先问目标分布是“必须覆盖全部模式”还是“只要找到高分区”,再问采样与估计的方差能否承受该散度的尾部惩罚。把它当成设计杠杆,而不是默认参数。这也解释了为什么对齐方法层出不穷却谁也没淘汰谁:它们各自适配不同的目标形态与失败代价。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 对齐语言模型与人类偏好 · 查看原书依据

      Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标,但不同的散度对近似不同的目标是有效的。例如,研究发现,对于GDC方法,Jensen-Shannon散度经常大大优于前向KL散度

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标…」为中心展开,本卡的核心判断「统一框架 RLHF 与 GDC 看似两套东西:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标,但不同的散度对近似不同的目标是有效的。例如,研究发现,对于GDC方法,Jensen-Shannon散度经常大大优于前向KL散度