知识卡片

普通读书笔记卡 · 9688.c · 生成模型:DeepSeek-V4.1-Flash

训练一个会挑示范的检索器

理解等级:高级

表面相似不等于对模型有用。EPR 让语言模型自己当裁判:先无监督检索出候选示范,把候选接在训练样本前,用评分模型计算“给定该候选时正确答案的概率”;高概率记正样本、低概率记负样本,再用对比学习训练一个稠密检索器。它学的是“能否帮模型答对”,而非字面相似。

两种划算的用法:评分模型比推理模型小,可当廉价代理来造数据;两者同样大但只能通过 API 访问时,也能靠它蒸馏出轻量检索器——这正是与只提供接口的巨型模型协作的一种方式。

PromptPG 把同一思路推到策略学习:在数学表格问答数据集 TABMWP 上,少样本 GPT-3 会跌到接近随机,于是用策略梯度学习“从候选池选哪 K 个示例”,奖励是答案相对标准答案的得分;问题与候选用 BERT 的 [CLS] 向量表示,训练时只更新顶部线性层,骨干冻结。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 上下文学习和轻量级微调 · 查看原书依据

      他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为负样本,并使用对比学习的方式从这些数据中训练出一个提示检索器。研究人员认为,与之前提出的表面相似性启发式方法相比,使用语言模型来标记样本是训练提示检索器的更好方法。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为…」为中心展开,本卡的核心判断「表面相似不等于对模型有用。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为负样本,并使用对比学习的方式从这些数据中训练出一个提示检索器。研究人员认为,与之前提出的表面相似性启发式方法相比,使用语言模型来标记样本是训练提示检索器的更好方法。