知识卡片
偏好预训练:把对齐前置
动机
如果预训练目标本身就是“复现语料”,那模型必然学会语料里的攻讦、谣言与错误代码;事后再用微调洗掉,相当于先学坏再矫正。PHF 的主张是:在预训练阶段就用奖励函数给数据加权或打标。
六种目标
| 目标 | 做法 |
|---|---|
| MLE | 标准最大似然,基线 |
| 过滤 MLE | 文档奖励低于阈值 t 直接丢弃 |
| 条件训练 | 段落前加控制词元(如 good),推理时指定该词元采样 |
| 不似然训练 | 低奖励段落改用词元级不似然,压低其概率 |
| 奖励加权回归 | 每段损失按奖励的指数加权 |
| 优势加权回归 | 用奖励减去价值估计得优势,再加权 |
结论
条件训练最好:在三项任务的对齐能力帕累托边界上都占优,能把不良内容频率降低一个数量级;随数据量增加持续受益,对对抗性提示更稳,且不明显损伤能力。更重要的发现是“越早越好”:全程注入反馈优于只在最后 10% 或 50% 的数据上注入,从头学对胜过学会再删。
边界
效果受制于奖励分类器的质量与设计,分类器有偏则整批数据被系统性带偏;作者建议用对抗训练、迭代放大、辩论等手段造更可靠的判断。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
研究发现,PHF带来了(有时是显著的)更好的对齐效果,这表明从头开始学习期望的行为比学习后再去除不良行为的效果更好。此外,更早地让人类反馈参与进来,可以提高对抗性攻击的鲁棒性。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「研究发现,PHF带来了(有时是显著的)更好的对齐效果,这表明从头开始…」为中心展开,本卡的核心判断「动机 如果预训练目标本身就是“复现语料”,那模型必然学会语料里的攻讦、谣言与错误代码;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:研究发现,PHF带来了(有时是显著的)更好的对齐效果,这表明从头开始学习期望的行为比学习后再去除不良行为的效果更好。此外,更早地让人类反馈参与进来,可以提高对抗性攻击的鲁棒性。