← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.k · 生成模型:DeepSeek-V4.1-Flash

后视重标注:失败也是数据

理解等级:中级

两条老路的痛点

用 PPO 做对齐:要同时训练奖励模型和价值网络,超参数敏感、实现复杂。用“过滤式模仿学习”:只保留对齐成功的指令-输出对,失败的样本被丢掉,数据效率低。

换个视角

把指令看成“目标”,把语言模型看成“以目标为条件的策略”,对齐就变成目标条件强化学习。这一步转换很关键:一旦承认模型没达成原目标,就可以问它实际达成了什么。

HIR 的做法

两个阶段交替。在线采样阶段,用当前模型对指令生成回答,形成指令-输出对。离线阶段,对每一对做后视重标注:把“模型实际做到的那个较弱目标”重新写成指令,于是原本失败的一对被改写成一个成功的样本,再做标准监督学习。这与 HER 的思路一致——用实际达成结果反推目标,把稀疏失败转成密集监督。

代价与收益

除语言模型本身外不需要额外参数,不需要奖励模型,工程上比 PPO 轻;代价是重标注的正确性依赖模型判断,且改写后的目标可能偏离用户真实意图。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 对齐语言模型与人类偏好 · 查看原书依据

      Zhang等提出了一种名为后视指令重新标注(Hindsight Instruction Relabeling,HIR)的算法,它的核心思想是根据语言模型的生成输出,以后视方式重新标注指令。HIR算法在两个阶段之间交替进行:在线采样阶段,生成指令-输出对数据集;离线学习阶段,重新标记每对指令并执行标准监督学习。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「Zhang等提出了一种名为后视指令重新标注(Hindsight In…」为中心展开,本卡的核心判断「两条老路的痛点 用 PPO 做对齐:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Zhang等提出了一种名为后视指令重新标注(Hindsight Instruction Relabeling,HIR)的算法,它的核心思想是根据语言模型的生成输出,以后视方式重新标注指令。HIR算法在两个阶段之间交替进行:在线采样阶段,生成指令-输出对数据集;离线学习阶段,重新标记每对指令并执行标准监督学习。