← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9691.j · 生成模型:DeepSeek-V4.1-Flash

Baleen:多跳要精简

理解等级:中级

多跳问题的证据散在多个页面,一次性检索再生成很难奏效。Baleen 把检索变成带状态的循环。

三个组件: - 精简检索:每跳把已检索段落摘要成短事实,替换原始长文,状态不随跳数膨胀。 - 集中后期交互:只对前 k 个候选做昂贵的细粒度打分,控制成本。 - 潜在跳排序:学习“先查什么、后查什么”的顺序,因为跳序本身没有标注。

流程:查询 Q 进入检索器取前 k 段,精简器把相关事实压成新查询 Q’,进入下一跳;到第 T 跳后交给读取器出答案。

效果与风险:在 HoVer 上准确率比之前方法高约 40%;但循环也意味着早期错误沿链传播,精简器一旦丢掉关键事实,后面无法补回。它适合证据链明确的任务,不适合需要全局权衡的开放问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      Khattab et al(2021a)介绍了一种名为Baleen的多跳推理系统,它建立在迭代检索概念的基础之上。这种系统由3个主要理念组成:①精简检索,提供每跳的文档摘要;②集中后期交互,对前k个得分进行排序,仅将其包含在后续计算中;③潜在跳排序,利用机器学习对段落进行排序。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「Khattab et al(2021a)介绍了一种名为Baleen的…」为中心展开,本卡的核心判断「多跳问题的证据散在多个页面,一次性检索再生成很难奏效。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Khattab et al(2021a)介绍了一种名为Baleen的多跳推理系统,它建立在迭代检索概念的基础之上。这种系统由3个主要理念组成:①精简检索,提供每跳的文档摘要;②集中后期交互,对前k个得分进行排序,仅将其包含在后续计算中;③潜在跳排序,利用机器学习对段落进行排序。