知识卡片
检索错了,生成也会错
检索器与生成器不是两个独立模块,前者的错误会以几种方式变成后者的错误。
证据缺失:召回里没有含答案的段落,生成器只能靠参数编,幻觉率随召回率下降而上升,这条关系近乎线性。
融合反而降分:REALM 的例子里,正确答案所在文档已被检索到,但把前 8 篇一起边缘化后,正确答案的概率被其他相关文档稀释——检索对了、融合方式不对,仍会答错。
多跳放大:Baleen 这类迭代系统里,第一跳找错实体,后面每跳都在错误前提上检索,最后给出结构完整但事实错误的答案。
黑盒封顶:REPLUG 只能调检索器,生成器不变,最终性能上限由检索质量决定。
实践含义:评估要拆成召回率与答案准确率两栏;改进顺序通常是先修检索,再修融合,最后才动生成器。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
然而,在对检索到的前8个文档进行边际化处理时,由于检索文档的相关性,正确答案的概率有所下降。这凸显了在这些设置中改进检索功能的必要性。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「然而,在对检索到的前8个文档进行边际化处理时,由于检索文档的相关性,…」为中心展开,本卡的核心判断「检索器与生成器不是两个独立模块,前者的错误会以几种方式变成后者的错误。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:然而,在对检索到的前8个文档进行边际化处理时,由于检索文档的相关性,正确答案的概率有所下降。这凸显了在这些设置中改进检索功能的必要性。