原书出处
大语言模型-基础与前沿 (熊涛)
09 第9章 对齐语言模型与人类偏好
kova et al,2019;Khalifa et al,2020)来最小化该目标分布与自回归策略之间的前向KL散度。
DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时最小化与原始预训练语言模型之间的KL散度。这解决了“灾难性遗忘”的问题,还能处理性别平衡等分配偏好。
与我们之前讨论过的带有KL控制范式的奖励最大化(Reward Maximiation,RM,为单一序列计算奖励)不同,D
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d