← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

09 第9章 对齐语言模型与人类偏好

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.848Z

kova et al,2019;Khalifa et al,2020)来最小化该目标分布与自回归策略之间的前向KL散度。

DM方法利用EBM的灵活性来指定目标分布,使其符合所有下游偏好,同时最小化与原始预训练语言模型之间的KL散度。这解决了“灾难性遗忘”的问题,还能处理性别平衡等分配偏好。

与我们之前讨论过的带有KL控制范式的奖励最大化(Reward Maximiation,RM,为单一序列计算奖励)不同,D

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d