知识卡片
自注意力查询键值
自注意力为输入序列中每个位置生成查询 Q、键 K、值 V。对一个查询与各位置的键计算相似分数,经过 softmax 得到权重,再对各位置的值加权求和,形成该位置结合上下文的输出。查询和键用于决定关注哪些位置,值提供被汇总的信息;权重由输入及可学习投影共同决定。按书中“向量为列”的约定,所有键与查询的分数可写成 KᵀQ,逐列归一化后再用 V 乘该权重矩阵,一次计算所有位置的输出。若有掩码,可访问的位置受到约束,不一定覆盖整个序列。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自注意力机制 6.2 自注意力机制的运作原理 · 查看原书依据
如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.
参考来源
- 位置:《深度学习详解》第6章《自注意力机制》6.2(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`)
- 结论依据:原文和图 6.19–6.28 依次展示 Q、K、V 投影、注意力分数、归一化和加权求和。
- 原始内容:如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.