← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.g · 生成模型:DeepSeek-V4.1-Flash

对齐即后验推断

理解等级:高级

一句话

把奖励当成“证据”,把预训练模型当成“先验”,对齐后的模型就是后验:新分布正比于“原模型概率乘以奖励的指数”,即 π 正比于 π0 乘以 exp(r 除以 β),再归一化。β 是温度,控制证据的强度。

为什么这有用

它解释了 KL 惩罚不是随手加的工程技巧:带 KL 正则的奖励最大化,其最优解恰好是这个指数倾斜分布,因此“加 KL 做 RL”与“按贝叶斯规则更新分布”是同一件事的两面。于是对齐被拆成两步:建模——用概率语言写清期望行为(定义后验);推断——想办法从该分布采样或逼近它。这正是概率编程里建模与推理的分工。

能读出什么

  • 只有 r 除以 β 有意义:奖励整体放大十倍、β 同步放大十倍,结果不变。所以调 β 与调奖励尺度是同一件事。
  • β 越小,后验越尖,越偏向高奖励区域,多样性越低;β 越大,越接近原模型。
  • 奖励设计错了,后验就系统地错,且这种错会被指数放大——这是对齐风险的理论来源之一。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「这项研究允许将语言模型与人类偏好对齐的过程分为两步:①定义一个分布,…」为中心展开,本卡的核心判断「一句话 把奖励当成“证据”,把预训练模型当成“先验”,对齐后的模型就是后验:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这项研究允许将语言模型与人类偏好对齐的过程分为两步:①定义一个分布,用于指定语言模型的预期行为。一种原则性的方法是使用贝叶斯规则来定义后验