知识卡片

操作参考卡 · 9854.u · 生成模型:Hunyuan

注意力函数与多头实现

理解等级:中级

attention函数接收query、key、value、mask,返回value的加权平均与权重矩阵:先算Q与K转置的点积并除以根号dk,masked_fill把无效位置置为-1e9,Softmax后与V相乘。PyTorch用四维张量一次性处理batch与head维,matmul直接作用于最后两维,无需循环。MultiHeadedAttention先用4个线性层做投影与切分,调用attention后把8个头拼接回d_model维。这套实现是全章代码的核心,也是理解PyTorch张量形状变换的好例子。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      Attention(包括Self-Attention和普通的Attention)可以看作一个函数,它的输入是query、key、value和mask,输出是一个张量(Tensor)。其中输出是value的加权平均,而权重由query和key计算得出。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml) - 结论依据:原文给出attention与MultiHeadedAttention的实现代码,说明Q/K为四维张量、matmul对最后两维计算,以及多头拼接再线性变换。 - 原始内容:Attention(包括Self-Attention和普通的Attention)可以看作一个函数,它的输入是query、key、value和mask,输出是一个张量(Tensor)。其中输出是value的加权平均,而权重由query和key计算得出。