← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9691.i · 生成模型:DeepSeek-V4.1-Flash

RGS:没有标注怎么训检索器

理解等级:中级

开放域问答的训练数据只有问题和答案,没有“该读哪段”的标注,检索器无从监督。ColBERT-QA 用相关性引导监督(RGS)绕开这一点。

弱信号:先用 BM25 或 ColBERT 取前 1000 段,再用启发式判断答案字符串是否出现在段中。出现算弱正样本,其余算负样本。这个信号很脏:提到“海淀区”的段落未必能回答问题,但比完全没提的更有用。

自举:外循环用固定检索器批量检索,内循环快速训练检索器;下一轮用更好的检索器重新选正负样本。本质是把“下游能否答对”当作检索器的奖励。

效果:Success@20 明显提升,NaturalQuestions、TriviaQA、SQuAD 上分别涨 5、5、12 分。启示:没有黄金标签时可用下游可验证信号造监督,但要防确认偏差——检索器会越来越相信自己的选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「RGS是一种简单而有效的方法,可以在不需要人工直接注释段落的情况下逐…」为中心展开,本卡的核心判断「开放域问答的训练数据只有问题和答案,没有“该读哪段”的标注,检索器无从监督。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:RGS是一种简单而有效的方法,可以在不需要人工直接注释段落的情况下逐步训练出更好的检索器,其效果优于之前的方法。