知识卡片
散度选择没有唯一最优
统一框架
RLHF 与 GDC 看似两套东西:一个用隐式目标加反向 KL,一个用显式目标加前向 KL。f-DPG 指出二者是同一种操作的不同实例——都是“选一个 f 散度,去把一个策略拉向某个目标分布”。换散度、换目标分布,就得到不同算法。
关键结论
不存在普遍最优的散度。不同散度惩罚的失误不一样:前向 KL 罚“漏掉目标的模式”,反向 KL 罚“在目标没质量的地方乱放质量”,Jensen-Shannon 则在两者间折中、对有重叠的分布更平滑。所以选择散度等于选择“允许哪种失败”。实验上,GDC 任务里 JS 散度常显著优于前向 KL,但这是任务相关的结论,不能外推成通则。
怎么用这条结论
先问目标分布是“必须覆盖全部模式”还是“只要找到高分区”,再问采样与估计的方差能否承受该散度的尾部惩罚。把它当成设计杠杆,而不是默认参数。这也解释了为什么对齐方法层出不穷却谁也没淘汰谁:它们各自适配不同的目标形态与失败代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标,但不同的散度对近似不同的目标是有效的。例如,研究发现,对于GDC方法,Jensen-Shannon散度经常大大优于前向KL散度
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标…」为中心展开,本卡的核心判断「统一框架 RLHF 与 GDC 看似两套东西:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Go等论证了不同散度目标选择的实际优势,并表明了不存在统一的最优目标,但不同的散度对近似不同的目标是有效的。例如,研究发现,对于GDC方法,Jensen-Shannon散度经常大大优于前向KL散度