知识卡片

普通读书笔记卡 · 9686.m · 生成模型:DeepSeek-V4.1-Flash

外部记忆的四种接法

理解等级:高级

把记忆放在参数之外,可以在不扩大模型的情况下引入新知识或更长历史。四种代表做法:

方法 记忆载体 读取方式 主要代价
kNN-LM 外部键值库,键是上下文嵌入,值是下一词元 向量近邻检索,与模型输出按权重 λ 线性插值 建库与检索开销;λ 需按域内外调整
SPALM 短期隐藏状态缓存加长期近邻库 门控函数自适应融合局部上下文与检索结果 门控训练复杂,两套记忆要协同
记忆 Transformer 解码器顶部的先进先出键值缓存 与局部注意力共用投影,检索前 k 个键值再做注意力 缓存占显存,需归一化防数值漂移
RMT 可读写的记忆词元,拼在每段首尾 段首词元读、段尾词元写,输出传给下一段 需跨段反传,显存开销大

共同点:都在注意力之外增加一个可检索的信息源,用门控或插值把两路预测合并;区别在记忆是原始向量、压缩状态还是可训练词元。共同风险:检索到的内容可能无关,权重过大反而引入噪声。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「这个附加模型是使用外部键-值存储构建的,该键-值存储可以容纳一个大型…」为中心展开,本卡的核心判断「把记忆放在参数之外,可以在不扩大模型的情况下引入新知识或更长历史。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这个附加模型是使用外部键-值存储构建的,该键-值存储可以容纳一个大型预训练数据集或任何新的域外数据集。