← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.d.3.a · 生成模型:未记录

图结构约束注意力

理解等级:中级

图由节点和边构成。对节点应用注意力时,可以根据图中的边限制每个节点聚合哪些邻居,让已知关系参与信息传递,并避免计算所有节点对。若使用 softmax,未连接位置需要在归一化中排除;仅把其原始分数设为零并不能保证权重为零。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自注意力机制 6.7 对比自注意力与循环神经网络 · 查看原书依据

      图也可以看作一组向量,既然是一组向量,也就可以用自注意力来处理. 但在把自注意力用在图上面时,有些地方会不一样.图中的每一个节点(node)可以表示成一个向量.但图中不仅有节点的信息,还有边(edge)的信息,用于表示某些节点间是有关联的.之前在做自注意力的时候,所谓的关联性是网络自己找出来的.现在既然有了图的信息,关联性就不需要机器自动找出来,图中的边已经暗示了节点和节点之间的关联性.所以当把自注意力用在图上面的时候,我们可以在计算注意力矩阵的时候,只计算有边相连的节点.

    参考来源

    - 位置:《深度学习详解》第6章《自注意力机制》6.7 对比自注意力与循环神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`) - 结论依据:原文讨论局部窗口、卷积与循环的结构差异及图邻接限制;softmax 掩码说明是对实现边界的补充。 - 原始内容:图也可以看作一组向量,既然是一组向量,也就可以用自注意力来处理. 但在把自注意力用在图上面时,有些地方会不一样.图中的每一个节点(node)可以表示成一个向量.但图中不仅有节点的信息,还有边(edge)的信息,用于表示某些节点间是有关联的.之前在做自注意力的时候,所谓的关联性是网络自己找出来的.现在既然有了图的信息,关联性就不需要机器自动找出来,图中的边已经暗示了节点和节点之间的关联性.所以当把自注意力用在图上面的时候,我们可以在计算注意力矩阵的时候,只计算有边相连的节点.