知识卡片
注意力函数与多头实现
attention函数接收query、key、value、mask,返回value的加权平均与权重矩阵:先算Q与K转置的点积并除以根号dk,masked_fill把无效位置置为-1e9,Softmax后与V相乘。PyTorch用四维张量一次性处理batch与head维,matmul直接作用于最后两维,无需循环。MultiHeadedAttention先用4个线性层做投影与切分,调用attention后把8个头拼接回d_model维。这套实现是全章代码的核心,也是理解PyTorch张量形状变换的好例子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
Attention(包括Self-Attention和普通的Attention)可以看作一个函数,它的输入是query、key、value和mask,输出是一个张量(Tensor)。其中输出是value的加权平均,而权重由query和key计算得出。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml)
- 结论依据:原文给出attention与MultiHeadedAttention的实现代码,说明Q/K为四维张量、matmul对最后两维计算,以及多头拼接再线性变换。
- 原始内容:Attention(包括Self-Attention和普通的Attention)可以看作一个函数,它的输入是query、key、value和mask,输出是一个张量(Tensor)。其中输出是value的加权平均,而权重由query和key计算得出。