← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

09 第9章 对齐语言模型与人类偏好

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.848Z

发散。因此,前向KL的失败案例对于反向KL是可取的。这意味着,对于反向KL,只要近似值良好,最好只拟合P(X)的一部分。

因此,反向KL旨在避免近似扩散,导致P(X)的某些部分不能被Q(X)近似,此时Q(x)=0。这种形式的KL散度被称为零强迫(zero forcing),因为它迫使Q(X)在某些区域为0,即使P(X)>0。

9.1.3 REINFORCE、TRPO和PPO 简而言之,强化学习涉及研究智能体(agent)如何通过反复试验来学习。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d