知识卡片
外部记忆的四种接法
把记忆放在参数之外,可以在不扩大模型的情况下引入新知识或更长历史。四种代表做法:
| 方法 | 记忆载体 | 读取方式 | 主要代价 |
|---|---|---|---|
| kNN-LM | 外部键值库,键是上下文嵌入,值是下一词元 | 向量近邻检索,与模型输出按权重 λ 线性插值 | 建库与检索开销;λ 需按域内外调整 |
| SPALM | 短期隐藏状态缓存加长期近邻库 | 门控函数自适应融合局部上下文与检索结果 | 门控训练复杂,两套记忆要协同 |
| 记忆 Transformer | 解码器顶部的先进先出键值缓存 | 与局部注意力共用投影,检索前 k 个键值再做注意力 | 缓存占显存,需归一化防数值漂移 |
| RMT | 可读写的记忆词元,拼在每段首尾 | 段首词元读、段尾词元写,输出传给下一段 | 需跨段反传,显存开销大 |
共同点:都在注意力之外增加一个可检索的信息源,用门控或插值把两路预测合并;区别在记忆是原始向量、压缩状态还是可训练词元。共同风险:检索到的内容可能无关,权重过大反而引入噪声。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
这个附加模型是使用外部键-值存储构建的,该键-值存储可以容纳一个大型预训练数据集或任何新的域外数据集。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「这个附加模型是使用外部键-值存储构建的,该键-值存储可以容纳一个大型…」为中心展开,本卡的核心判断「把记忆放在参数之外,可以在不扩大模型的情况下引入新知识或更长历史。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:这个附加模型是使用外部键-值存储构建的,该键-值存储可以容纳一个大型预训练数据集或任何新的域外数据集。