原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
05 第5章 注意力机制
绍的多头注意力(Multi-Head Attention)机制,其架构图如5-22所示。 图5-22 多头注意力结构图
多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。
在多头注意力结构中,我们有多组查询/键/值权重矩阵(Transformer使用八个关注头,因此每个编码器/解码器最终得到
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da