原书出处
大模型技术30讲
16 第16章 自注意力
架构。这一探索促成了原始Transformer架构和自注意力机制的设计的诞生。
在自注意力中,注意力机制应用于同一序列的所有元素之间(而非涉及两个序列),如图16-3中简化的注意力机制所示。
与RNN的注意力机制类似,上下文向量就是对输入序列元素的注意力加权求和得到的。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec