原书出处
大模型技术30讲
16 第16章 自注意力
16章 自注意力 自注意力这一名称源自何处?它与早些时候的注意力机制有何不同?
自注意力机制,使神经网络在关注输入的某一特定部分时,能够参考输入的其他部分,实质上赋予了每个部分“关注”输入整体的能力。
最初为递归神经网络(RNN)设计的注意力机制,是应用在两个不同序列之间的:编码器
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec