知识卡片
RETRO 的分块交叉注意力
RETRO 把检索嵌进解码过程,而不是只在外围拼提示。
关键设计: - 分块:长序列按 64 个词元切块,检索以块为单位,粒度比文档细、比词元粗——每块只取回与它最相关的邻居。 - 冻结检索器:键是冻结 BERT 的块向量,值是原始词元;检索器不训练,索引就不必反复刷新,这是它能扩到万亿词元库的前提。 - 分块交叉注意力:邻居先由编码器编码,再由交叉注意力注入解码器;因果性由块边界保证,第 i 块的邻居只影响第 i 块末尾及之后的词元。 - 复杂度:随检索数据量线性增长。
结果与边界:7B 的 RETRO 在 Pile 上接近 GPT-3 与 Jurassic-1,参数只有约 4%;代价是检索器不随任务优化,块边界固定,跨块的长距离依赖仍靠模型自己。
结构图:
flowchart LR
A[长序列输入] --> B[按64词元切块]
B --> C[块向量作查询]
C --> D[冻结BERT键值库]
D --> E[取回k个近邻块]
E --> F[邻居编码器]
B --> G[分块交叉注意力]
F --> G
G --> H[解码器预测]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
该团队将每个训练序列分成块(即把长度为2048的输入分割成长度为64的块),并用从数据库中检索到的k个近邻来增强它们。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「该团队将每个训练序列分成块(即把长度为2048的输入分割成长度为64…」为中心展开,本卡的核心判断「RETRO 把检索嵌进解码过程,而不是只在外围拼提示。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:该团队将每个训练序列分成块(即把长度为2048的输入分割成长度为64的块),并用从数据库中检索到的k个近邻来增强它们。