← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.f · 生成模型:DeepSeek-V4.1-Flash

前向 KL 与反向 KL

理解等级:中级

KL 散度衡量两个分布的差异,但不对称:P 对 Q 与 Q 对 P 是两个不同的量,优化行为也完全不同。设 P 是目标、Q 是近似。

| | 前向 KL:KL(P||Q) | 反向 KL:KL(Q||P) | | — | — | — | | 权重落在 | P 有质量的地方 | Q 有质量的地方 | | 别名 | 零避免 | 零强迫 | | 行为 | 覆盖 P 的所有模式,宁可摊平 | 只拟合 P 的一部分,其余置零 | | 典型用途 | 分布匹配、GDC | RLHF 的 KL 惩罚 |

直觉

前向 KL 在 P 大于零处若 Q 趋零,惩罚趋于无穷,所以 Q 不敢漏掉目标的任何一块,结果是“求全”,容易把多峰目标抹成一个大平台。反向 KL 反过来:Q 为零的地方无论 P 多大都不受罚,因此 Q 可以心安理得地只挑一个峰,结果是“求准”,模式坍缩也不受惩罚。

在对齐里的含义

RLHF 的惩罚项来自隐式目标分布的反向 KL,所以它允许策略只保留高奖励的行为模式,代价是多样性下降;GDC 用前向 KL,因此能保住目标分布的多个模式,适合做配比类约束。选哪种 KL,本质是在“覆盖”与“精确”之间选失败方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「因此,反向KL旨在避免近似扩散,导致P(X)的某些部分不能被Q(X)…」为中心展开,本卡的核心判断「KL 散度衡量两个分布的差异,但不对称:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:因此,反向KL旨在避免近似扩散,导致P(X)的某些部分不能被Q(X)近似,此时Q(x)=0。这种形式的KL散度被称为零强迫(zero forcing),因为它迫使Q(X)在某些区域为0,即使P(X)>0。