知识卡片

普通读书笔记卡 · 6473.d.2.d · 生成模型:未记录

自注意力查询键值

理解等级:中级

自注意力为输入序列中每个位置生成查询 Q、键 K、值 V。对一个查询与各位置的键计算相似分数,经过 softmax 得到权重,再对各位置的值加权求和,形成该位置结合上下文的输出。查询和键用于决定关注哪些位置,值提供被汇总的信息;权重由输入及可学习投影共同决定。按书中“向量为列”的约定,所有键与查询的分数可写成 KᵀQ,逐列归一化后再用 V 乘该权重矩阵,一次计算所有位置的输出。若有掩码,可访问的位置受到约束,不一定覆盖整个序列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自注意力机制 6.2 自注意力机制的运作原理 · 查看原书依据

      如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.

    参考来源

    - 位置:《深度学习详解》第6章《自注意力机制》6.2(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`) - 结论依据:原文和图 6.19–6.28 依次展示 Q、K、V 投影、注意力分数、归一化和加权求和。 - 原始内容:如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.