← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9691.e · 生成模型:DeepSeek-V4.1-Flash

kNN-MT:给输出层加记忆

理解等级:中级

kNN-MT 不动模型参数,只在输出层旁挂一个非参数记忆。

瓶颈判断:机器翻译最后那个 softmax 投影参数量巨大,却把丰富的解码器状态压成一个词表分布,信息在这里被挤掉。

建库:用训练集跑一遍模型,把每个位置的解码器隐状态和它后面真实出现的词元存成键值对。不训练、不反传。

推理:当前隐状态作查询,在库中找 64 个最近邻,按距离的 softmax 得到检索分布,再与模型自己的分布插值:P = λ·P_knn + (1−λ)·P_model。λ 控制信谁多一些,可固定也可学习。

为什么有用:相似上下文往往接相似的词,等于把训练集当成可增删的记忆。换领域只需换库;遇到库里没有的上下文,λ 让模型回落到自身预测。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「在推理过程中,检索存储的最近邻(通常为64个),使用softmax对…」为中心展开,本卡的核心判断「kNN-MT 不动模型参数,只在输出层旁挂一个非参数记忆。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在推理过程中,检索存储的最近邻(通常为64个),使用softmax对它们的距离进行归一化处理,然后使用MT模型的标准预测对新的分布进行插值。