← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9691 · 生成模型:DeepSeek-V4.1-Flash

为什么要把记忆外包

理解等级:初级

参数化记忆有三个绕不过去的成本。

  • 知识更新:新论文、新政策、新事件要进模型,全量重训以月计;改一个事实的代价和重造模型差不多。
  • 可解释与溯源:答案的依据散在万亿权重里,指不出用了哪句话;检索把依据变成可检查的文档,能给出处、能审计。
  • 效率与长尾:推理要把全部权重载入 GPU,等于回答前先读完整个百科;长尾事实在语料里只出现几次,参数中根本学不牢,而库里存一份就够。

边界:检索外包的是世界知识,不是语言能力。语法、推理、文风仍由参数承担。把两者解耦后,小模型配好库可以在事实性任务上逼近大模型,但推理深度不会因此变强。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      ·模型训练和推理的成本昂贵程度令人望而却步。此外,在现实世界的机器学习应用中,快速更新模型知识也是一项挑战。例如,如果发表了一篇医学方面的新论文,模型就需要能够阅读它以回答医学问题。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「·模型训练和推理的成本昂贵程度令人望而却步。此外,在现实世界的机器学…」为中心展开,本卡的核心判断「参数化记忆有三个绕不过去的成本。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:·模型训练和推理的成本昂贵程度令人望而却步。此外,在现实世界的机器学习应用中,快速更新模型知识也是一项挑战。例如,如果发表了一篇医学方面的新论文,模型就需要能够阅读它以回答医学问题。