← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

05 第5章 注意力机制

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.596Z

绍的多头注意力(Multi-Head Attention)机制,其架构图如5-22所示。 图5-22 多头注意力结构图

多头注意力机制可以从3个方面提升注意力层的性能。 1)它扩展了模型专注于不同位置的能力。 2)将缩放点积注意力过程做h次,再把输出合并起来。 3)它为注意力层(Attention Layer)提供了多个“表示子空间”。

在多头注意力结构中,我们有多组查询/键/值权重矩阵(Transformer使用八个关注头,因此每个编码器/解码器最终得到

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da