知识卡片
对齐即后验推断
一句话
把奖励当成“证据”,把预训练模型当成“先验”,对齐后的模型就是后验:新分布正比于“原模型概率乘以奖励的指数”,即 π 正比于 π0 乘以 exp(r 除以 β),再归一化。β 是温度,控制证据的强度。
为什么这有用
它解释了 KL 惩罚不是随手加的工程技巧:带 KL 正则的奖励最大化,其最优解恰好是这个指数倾斜分布,因此“加 KL 做 RL”与“按贝叶斯规则更新分布”是同一件事的两面。于是对齐被拆成两步:建模——用概率语言写清期望行为(定义后验);推断——想办法从该分布采样或逼近它。这正是概率编程里建模与推理的分工。
能读出什么
- 只有 r 除以 β 有意义:奖励整体放大十倍、β 同步放大十倍,结果不变。所以调 β 与调奖励尺度是同一件事。
- β 越小,后验越尖,越偏向高奖励区域,多样性越低;β 越大,越接近原模型。
- 奖励设计错了,后验就系统地错,且这种错会被指数放大——这是对齐风险的理论来源之一。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
这项研究允许将语言模型与人类偏好对齐的过程分为两步:①定义一个分布,用于指定语言模型的预期行为。一种原则性的方法是使用贝叶斯规则来定义后验
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「这项研究允许将语言模型与人类偏好对齐的过程分为两步:①定义一个分布,…」为中心展开,本卡的核心判断「一句话 把奖励当成“证据”,把预训练模型当成“先验”,对齐后的模型就是后验:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:这项研究允许将语言模型与人类偏好对齐的过程分为两步:①定义一个分布,用于指定语言模型的预期行为。一种原则性的方法是使用贝叶斯规则来定义后验