← 返回卡片

原书出处

深度学习详解

06 自注意力机制 6.7 对比自注意力与循环神经网络

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

图也可以看作一组向量,既然是一组向量,也就可以用自注意力来处理. 但在把自注意力用在图上面时,有些地方会不一样.图中的每一个节点(node)可以表示成一个向量.但图中不仅有节点的信息,还有边(edge)的信息,用于表示某些节点间是有关联的.之前在做自注意力的时候,所谓的关联性是网络自己找出来的.现在既然有了图的信息,关联性就不需要机器自动找出来,图中的边已经暗示了节点和节点之间的关联性.所以当把自注意力用在图上面的时候,我们可以在计算注意力矩阵的时候,只计算有边相连的节点.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc