知识卡片
Baleen:多跳要精简
多跳问题的证据散在多个页面,一次性检索再生成很难奏效。Baleen 把检索变成带状态的循环。
三个组件: - 精简检索:每跳把已检索段落摘要成短事实,替换原始长文,状态不随跳数膨胀。 - 集中后期交互:只对前 k 个候选做昂贵的细粒度打分,控制成本。 - 潜在跳排序:学习“先查什么、后查什么”的顺序,因为跳序本身没有标注。
流程:查询 Q 进入检索器取前 k 段,精简器把相关事实压成新查询 Q’,进入下一跳;到第 T 跳后交给读取器出答案。
效果与风险:在 HoVer 上准确率比之前方法高约 40%;但循环也意味着早期错误沿链传播,精简器一旦丢掉关键事实,后面无法补回。它适合证据链明确的任务,不适合需要全局权衡的开放问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
Khattab et al(2021a)介绍了一种名为Baleen的多跳推理系统,它建立在迭代检索概念的基础之上。这种系统由3个主要理念组成:①精简检索,提供每跳的文档摘要;②集中后期交互,对前k个得分进行排序,仅将其包含在后续计算中;③潜在跳排序,利用机器学习对段落进行排序。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「Khattab et al(2021a)介绍了一种名为Baleen的…」为中心展开,本卡的核心判断「多跳问题的证据散在多个页面,一次性检索再生成很难奏效。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Khattab et al(2021a)介绍了一种名为Baleen的多跳推理系统,它建立在迭代检索概念的基础之上。这种系统由3个主要理念组成:①精简检索,提供每跳的文档摘要;②集中后期交互,对前k个得分进行排序,仅将其包含在后续计算中;③潜在跳排序,利用机器学习对段落进行排序。