← 返回刚才阅读的位置

知识卡片

结构图卡 · 9691.k · 生成模型:DeepSeek-V4.1-Flash

RETRO 的分块交叉注意力

理解等级:中级

RETRO 把检索嵌进解码过程,而不是只在外围拼提示。

关键设计: - 分块:长序列按 64 个词元切块,检索以块为单位,粒度比文档细、比词元粗——每块只取回与它最相关的邻居。 - 冻结检索器:键是冻结 BERT 的块向量,值是原始词元;检索器不训练,索引就不必反复刷新,这是它能扩到万亿词元库的前提。 - 分块交叉注意力:邻居先由编码器编码,再由交叉注意力注入解码器;因果性由块边界保证,第 i 块的邻居只影响第 i 块末尾及之后的词元。 - 复杂度:随检索数据量线性增长。

结果与边界:7B 的 RETRO 在 Pile 上接近 GPT-3 与 Jurassic-1,参数只有约 4%;代价是检索器不随任务优化,块边界固定,跨块的长距离依赖仍靠模型自己。

结构图:

flowchart LR
  A[长序列输入] --> B[按64词元切块]
  B --> C[块向量作查询]
  C --> D[冻结BERT键值库]
  D --> E[取回k个近邻块]
  E --> F[邻居编码器]
  B --> G[分块交叉注意力]
  F --> G
  G --> H[解码器预测]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「该团队将每个训练序列分成块(即把长度为2048的输入分割成长度为64…」为中心展开,本卡的核心判断「RETRO 把检索嵌进解码过程,而不是只在外围拼提示。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:该团队将每个训练序列分成块(即把长度为2048的输入分割成长度为64的块),并用从数据库中检索到的k个近邻来增强它们。