原书出处
深度学习详解
06 自注意力机制 6.7 对比自注意力与循环神经网络
图也可以看作一组向量,既然是一组向量,也就可以用自注意力来处理. 但在把自注意力用在图上面时,有些地方会不一样.图中的每一个节点(node)可以表示成一个向量.但图中不仅有节点的信息,还有边(edge)的信息,用于表示某些节点间是有关联的.之前在做自注意力的时候,所谓的关联性是网络自己找出来的.现在既然有了图的信息,关联性就不需要机器自动找出来,图中的边已经暗示了节点和节点之间的关联性.所以当把自注意力用在图上面的时候,我们可以在计算注意力矩阵的时候,只计算有边相连的节点.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc