知识卡片
用自然语言反馈做微调
比较反馈的信息瓶颈
RLHF 只告诉模型“A 比 B 好”,这是一个比特。它没说哪里错、该往哪个方向改。人之间纠错却极少用打分,而是说“熊不是绿色的”。ILF(从语言反馈模仿学习)就是把这句自然语言变成训练信号。
五步流程
- 主模型对提示生成输出。
- 人给出自然语言反馈,指出问题。
- 优化模型读入“输出+反馈”,生成若干改写候选。
- 奖励模型给候选打分排序,挑出最好的一条。
- 把“原提示+最优改写”加入数据集,对主模型做监督微调。
两个必须成立的前提
优化模型要真的会用反馈,否则改写等于随机重采样;奖励模型要能判断“这条改写是否吸收了反馈”,用预训练模型做提示问答即可,组合多个提示效果更好。
价值与局限
它把稠密的方向信息压进一条监督样本,数据效率高于纯比较;实验显示其可随数据规模扩展,甚至优于用人工摘要做微调,且与比较反馈合用效果最好。代价是多了一次生成与排序,且反馈质量决定上限。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
人类在相互交流时,通常使用语言而不是二元标签或数字评级来提供反馈。问题是,大型文本模型能否从这种非结构化反馈中学习。答案是肯定的。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「人类在相互交流时,通常使用语言而不是二元标签或数字评级来提供反馈。问…」为中心展开,本卡的核心判断「比较反馈的信息瓶颈 RLHF 只告诉模型“A 比 B 好”,这是一个比特。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:人类在相互交流时,通常使用语言而不是二元标签或数字评级来提供反馈。问题是,大型文本模型能否从这种非结构化反馈中学习。答案是肯定的。