← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9691.d · 生成模型:DeepSeek-V4.1-Flash

让模型学会该查还是该记

理解等级:中级

检索增强的模型很容易学成“什么都去查”,REALM 用两个小设计纠正。

突出跨度掩蔽:优先掩掉命名实体、日期、数字这类事实性跨度,而不是随机掩词。随机掩“的”“是”靠句法就能补,模型没有动机用库;掩事实才逼它去检索。

空文档:在前 k 个候选里放一个空文档。若检索没有帮助,模型可以把概率压到空文档上,等价于“这题用参数里的常识就够”。没有这个出口,模型会被迫从无关段落里找线索,反而学坏。

启示:检索增强不是把知识全部外包,而是让模型学会判断“该查还是该记”。这条边界直接决定推理成本与噪声水平。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      突出跨度掩蔽涉及掩蔽大语言模型中与命名实体、日期或其他特定事实相对应的特定文本跨度。突出跨度掩蔽鼓励模型依赖于其外部数据存储的检索能力来获取这些类型的信息。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「突出跨度掩蔽涉及掩蔽大语言模型中与命名实体、日期或其他特定事实相对应…」为中心展开,本卡的核心判断「检索增强的模型很容易学成“什么都去查”,REALM 用两个小设计纠正。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:突出跨度掩蔽涉及掩蔽大语言模型中与命名实体、日期或其他特定事实相对应的特定文本跨度。突出跨度掩蔽鼓励模型依赖于其外部数据存储的检索能力来获取这些类型的信息。