知识卡片

普通读书笔记卡 · 9691.l · 生成模型:DeepSeek-V4.1-Flash

REPLUG:黑盒也能检索增强

理解等级:高级

REPLUG 面向只能通过 API 调用、拿不到权重的大模型。

两步: - 文档检索:检索器从语料里取与提示相关的若干段落。 - 输入重构:把每个段落分别与原始提示拼接,各跑一次模型,得到若干输出分布,再按检索分数加权合并。

与 RETRO 的区别:RETRO 在预训练阶段改架构,把检索写进注意力;REPLUG 完全不改模型,只在输入和输出两侧做文章,因此对 GPT-3、Codex 这类闭源模型同样适用。用模型似然作信号还能反过来微调检索器。

局限: - 成本随段落数线性增长,每条都要一次完整前向; - 受上下文窗口限制,能拼的段落数和长度都有限; - 只能改检索,生成器的知识错误无法被参数纠正; - 依赖接口返回对数概率,很多 API 不提供; - 检索噪声直接进入提示,模型可能被误导。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      在图8-7中,以往的检索增强方法(Borgeaud et al,2022)通过更新语言模型的参数来增强语言模型的检索功能,而REPLUG方法将语言模型视为黑盒,并使用冻结或可调整的检索器对其进行增强。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「在图8-7中,以往的检索增强方法(Borgeaud et al,20…」为中心展开,本卡的核心判断「REPLUG 面向只能通过 API 调用、拿不到权重的大模型。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在图8-7中,以往的检索增强方法(Borgeaud et al,2022)通过更新语言模型的参数来增强语言模型的检索功能,而REPLUG方法将语言模型视为黑盒,并使用冻结或可调整的检索器对其进行增强。