← 返回刚才阅读的位置

知识卡片

结构图卡 · 9813.n · 生成模型:DeepSeek-V4.1-Flash

自注意力到底怎么算

理解等级:中级

自注意力让每个词在编码自己时先“看一遍”句子里所有词。词向量 x 分别乘三个权重矩阵得到查询向量 q=xW^Q、键向量 k=xW^K、值向量 v=xW^V:q 表示“我在找什么”,k 表示“我能提供什么”,v 是实际被汇总的内容。对每个词,用它的 q 与所有词的 k 做点积得到相关性分数,除以 √d_k(d_k 是键向量维度)后再 softmax 归一化成权重 α,最后对所有权重加权的 v 求和:Attention(Q,K,V)=softmax(QK^T/√d_k)V。除以 √d_k 是因为维度越高点积的方差越大,softmax 容易进入饱和区、梯度接近于 0。多头注意力并行做 8 组这样的计算,每组有自己的 W^Q、W^K、W^V,得到 8 个 Z 矩阵后拼接,再乘一个输出矩阵 W^O,使模型能同时关注不同位置、不同类型的关系。典型例子是“The animal didn’t cross the street because it was too tired”,编码 it 时注意力会更多落在 animal 上,于是 animal 的语义被写进 it 的表示。

结构图:

flowchart LR
  X["词向量 x"] --> Q["q = xW^Q"]
  X --> K["k = xW^K"]
  X --> V["v = xW^V"]
  Q --> S["q·k 打分"]
  K --> S
  S --> N["除 √d_k 后 softmax"]
  N --> Z["加权求和 Σαv"]
  V --> Z
  Z --> M["多头拼接 × W^O"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0080.html) - 结论依据:原文说明每个词向量经三个权重矩阵生成查询、键、值向量,并随后用点积打分、softmax 归一化、加权求和,这就是自注意力的完整计算路径。 - 原始内容:当一句话以词向量作为输入时,每个词向量会生成三个向量:查询向量、键向量和值向量。它们是通过词向量和与三个权重矩阵相乘得到的