原书出处
深度学习详解
06 自注意力机制 6.2 自注意力机制的运作原理
如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc