知识卡片
kNN-MT:给输出层加记忆
kNN-MT 不动模型参数,只在输出层旁挂一个非参数记忆。
瓶颈判断:机器翻译最后那个 softmax 投影参数量巨大,却把丰富的解码器状态压成一个词表分布,信息在这里被挤掉。
建库:用训练集跑一遍模型,把每个位置的解码器隐状态和它后面真实出现的词元存成键值对。不训练、不反传。
推理:当前隐状态作查询,在库中找 64 个最近邻,按距离的 softmax 得到检索分布,再与模型自己的分布插值:P = λ·P_knn + (1−λ)·P_model。λ 控制信谁多一些,可固定也可学习。
为什么有用:相似上下文往往接相似的词,等于把训练集当成可增删的记忆。换领域只需换库;遇到库里没有的上下文,λ 让模型回落到自身预测。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
在推理过程中,检索存储的最近邻(通常为64个),使用softmax对它们的距离进行归一化处理,然后使用MT模型的标准预测对新的分布进行插值。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「在推理过程中,检索存储的最近邻(通常为64个),使用softmax对…」为中心展开,本卡的核心判断「kNN-MT 不动模型参数,只在输出层旁挂一个非参数记忆。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在推理过程中,检索存储的最近邻(通常为64个),使用softmax对它们的距离进行归一化处理,然后使用MT模型的标准预测对新的分布进行插值。