知识卡片
训练一个会挑示范的检索器
表面相似不等于对模型有用。EPR 让语言模型自己当裁判:先无监督检索出候选示范,把候选接在训练样本前,用评分模型计算“给定该候选时正确答案的概率”;高概率记正样本、低概率记负样本,再用对比学习训练一个稠密检索器。它学的是“能否帮模型答对”,而非字面相似。
两种划算的用法:评分模型比推理模型小,可当廉价代理来造数据;两者同样大但只能通过 API 访问时,也能靠它蒸馏出轻量检索器——这正是与只提供接口的巨型模型协作的一种方式。
PromptPG 把同一思路推到策略学习:在数学表格问答数据集 TABMWP 上,少样本 GPT-3 会跌到接近随机,于是用策略梯度学习“从候选池选哪 K 个示例”,奖励是答案相对标准答案的得分;问题与候选用 BERT 的 [CLS] 向量表示,训练时只更新顶部线性层,骨干冻结。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为负样本,并使用对比学习的方式从这些数据中训练出一个提示检索器。研究人员认为,与之前提出的表面相似性启发式方法相比,使用语言模型来标记样本是训练提示检索器的更好方法。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为…」为中心展开,本卡的核心判断「表面相似不等于对模型有用。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为负样本,并使用对比学习的方式从这些数据中训练出一个提示检索器。研究人员认为,与之前提出的表面相似性启发式方法相比,使用语言模型来标记样本是训练提示检索器的更好方法。