原书出处
大语言模型-基础与前沿 (熊涛)
09 第9章 对齐语言模型与人类偏好
发散。因此,前向KL的失败案例对于反向KL是可取的。这意味着,对于反向KL,只要近似值良好,最好只拟合P(X)的一部分。
因此,反向KL旨在避免近似扩散,导致P(X)的某些部分不能被Q(X)近似,此时Q(x)=0。这种形式的KL散度被称为零强迫(zero forcing),因为它迫使Q(X)在某些区域为0,即使P(X)>0。
9.1.3 REINFORCE、TRPO和PPO 简而言之,强化学习涉及研究智能体(agent)如何通过反复试验来学习。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d