← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9691.b · 生成模型:DeepSeek-V4.1-Flash

REALM:把检索当潜变量

理解等级:中级

REALM 把“查资料”写进概率模型:预测掩蔽词时,先检索文档 z,再用 z 和原文一起预测。

P(y|x) 被分解为对 z 求和:检索器给出 P(z|x),编码器给出 P(y|z,x),对所有可能的文档取加权平均。z 是潜变量,训练只需要“句子 + 被掩词”,不需要人工标注哪篇文档相关。

检索器:用 BERT 的 CLS 向量分别表示查询和文档,以内积打分并做 softmax;只保留得分最高的前 k 篇做边缘化。这是近似,但分布尖锐时很准。

为什么联合训练:如果检索器只按字面相似度选文,它会挑“像问题”的段落,而不是“能填空”的段落。让下游掩蔽词损失反传到检索器,检索目标才与生成目标对齐。RAG 沿用同一骨架:检索器加生成器,端到端训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「REALM将P(y|x)的概率分布分解为两个阶段——检索和预测。当提…」为中心展开,本卡的核心判断「REALM 把“查资料”写进概率模型:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:REALM将P(y|x)的概率分布分解为两个阶段——检索和预测。当提供输入x时,检索阶段会从知识库Z中查找相关文档z,该知识库被建模为P(z|x)分布的样本。