知识卡片

普通读书笔记卡 · 9686 · 生成模型:DeepSeek-V4.1-Flash

自注意力:查询、键与值

理解等级:中级

三个角色:序列中每个位置的向量分别乘三个可学习矩阵,得到查询 Q、键 K、值 V。Q 表示“我在找什么”,K 表示“我能提供什么线索”,V 是真正被取走的内容。

计算:先用 Q 与 K 的转置做点积,得到任意两个位置的相似度;除以 √d_k 后按行做 softmax,转成权重;再用权重对 V 加权求和。每个位置因此得到一个融合了全序列信息的输出向量。

为什么要缩放:维度 d_k 越大,点积的方差越大,softmax 容易被推到接近 one-hot 的饱和区,梯度变得极小。除以 √d_k 相当于把打分拉回合适温度,使训练稳定。

与查表的区别:普通查找表按精确键匹配、不可微;这里是按相似度软匹配,权重连续可调,因而能端到端训练。代价是每个位置都要和所有位置比较,序列变长时打分矩阵按平方增长,长文本的开销主要来自这里。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的是与序列中的所有其他元素进行匹配,从而检索出有用的相关信息。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的…」为中心展开,本卡的核心判断「三个角色:序列中每个位置的向量分别乘三个可学习矩阵,得到查询 Q、键 K、值 V。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的是与序列中的所有其他元素进行匹配,从而检索出有用的相关信息。