原书出处
大模型技术30讲
16 第16章 自注意力
构下,RNN会对输入句子进行编码,将其存储在中间层的隐藏表征中,并生成输出语句。
但这就产生了瓶颈,即RNN需要通过单一的隐藏状态来记忆整个输入句子,对于较长的序列来说效果并不理想。
图16-2b中架构所描述的瓶颈问题催生了Bahdanau注意力机制最初的设计,
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec