知识卡片

普通读书笔记卡 · 9692.j · 生成模型:DeepSeek-V4.1-Flash

用自然语言反馈做微调

理解等级:中级

比较反馈的信息瓶颈

RLHF 只告诉模型“A 比 B 好”,这是一个比特。它没说哪里错、该往哪个方向改。人之间纠错却极少用打分,而是说“熊不是绿色的”。ILF(从语言反馈模仿学习)就是把这句自然语言变成训练信号。

五步流程

  1. 主模型对提示生成输出。
  2. 人给出自然语言反馈,指出问题。
  3. 优化模型读入“输出+反馈”,生成若干改写候选。
  4. 奖励模型给候选打分排序,挑出最好的一条。
  5. 把“原提示+最优改写”加入数据集,对主模型做监督微调。

两个必须成立的前提

优化模型要真的会用反馈,否则改写等于随机重采样;奖励模型要能判断“这条改写是否吸收了反馈”,用预训练模型做提示问答即可,组合多个提示效果更好。

价值与局限

它把稠密的方向信息压进一条监督样本,数据效率高于纯比较;实验显示其可随数据规模扩展,甚至优于用人工摘要做微调,且与比较反馈合用效果最好。代价是多了一次生成与排序,且反馈质量决定上限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「人类在相互交流时,通常使用语言而不是二元标签或数字评级来提供反馈。问…」为中心展开,本卡的核心判断「比较反馈的信息瓶颈 RLHF 只告诉模型“A 比 B 好”,这是一个比特。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:人类在相互交流时,通常使用语言而不是二元标签或数字评级来提供反馈。问题是,大型文本模型能否从这种非结构化反馈中学习。答案是肯定的。