← 返回卡片

原书出处

深度学习详解

06 自注意力机制 6.2 自注意力机制的运作原理

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

如图6.28 所示,自注意力模型的输入是一组向量,将这组向量拼起来可以得到矩阵. 将分别乘以三个矩阵、、,得到另外三个矩阵 、、.将 乘以 ,得到矩阵.对 做一些处理,得到,称为注意力矩阵(attention matrix).将 乘以 ,得到自注意力层的输出 .自注意力层的操作较为复杂,但自注意力层中需要学习的参数只有、、. 、、 是未知的,需要通过训练数据进行学习.其他的操作都没有未知的参数,也就不需要通过训练数据进行学习.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc