知识卡片
注意力与卷积的取舍
卷积通常按预设的局部感受野和共享权重提取模式;自注意力可根据输入计算位置间的权重,未限制时可以直接聚合较远位置的信息。卷积提供较强的局部结构假设,注意力更灵活但全局计算开销大;具体效果受数据、架构和训练条件影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自注意力机制 6.6 对比自注意力与卷积神经网络 · 查看原书依据
自注意力跟卷积神经网络之间有什么样的差异或关联呢?如图6.37(a) 所示,用自注意力来处理一幅图像,假设红框内的“1”是要考虑的像素,它会产生查询,其他像素产生键. 在做内积的时候,考虑的不是一个小的范围,而是整幅图像的信息.如图6.37(b) 所示,在做卷积神经网络的时候,卷积神经网络会“画”出一个感受野,只考虑感受野范围内的信息.通过比较卷积神经网络和自注意力,我们发现,卷积神经网络可以看作一种简化版的自注意力,因为在做卷积神经网络的时候,只考虑感受野范围内的信息;而自注意力会考虑整幅图像的信息.在卷积神经网络中,我们需要划定感受野.每一个神经元只考虑感受野范围内的信息,而感受野的大小是由人决定的.用自注意力找出相关的像素,就好像感受野是自动学出来的,网络自行决定感受野的大小. 网络决定了以哪些像素为中心,哪些像素是真正需要考虑的,而哪些像素是相关的.关于自注意力跟卷积神经网络的关系,可以参考论文“On the Relationship between Self-attention and Convolutional Layers”[6],这篇论文用数学的方式严谨地告诉我们,卷积神经网络就是自注意力的特例.
参考来源
- 位置:《深度学习详解》第6章《自注意力机制》6.6 对比自注意力与卷积神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`)
- 结论依据:原文讨论局部窗口、卷积与循环的结构差异及图邻接限制;softmax 掩码说明是对实现边界的补充。
- 原始内容:自注意力跟卷积神经网络之间有什么样的差异或关联呢?如图6.37(a) 所示,用自注意力来处理一幅图像,假设红框内的“1”是要考虑的像素,它会产生查询,其他像素产生键. 在做内积的时候,考虑的不是一个小的范围,而是整幅图像的信息.如图6.37(b) 所示,在做卷积神经网络的时候,卷积神经网络会“画”出一个感受野,只考虑感受野范围内的信息.通过比较卷积神经网络和自注意力,我们发现,卷积神经网络可以看作一种简化版的自注意力,因为在做卷积神经网络的时候,只考虑感受野范围内的信息;而自注意力会考虑整幅图像的信息.在卷积神经网络中,我们需要划定感受野.每一个神经元只考虑感受野范围内的信息,而感受野的大小是由人决定的.用自注意力找出相关的像素,就好像感受野是自动学出来的,网络自行决定感受野的大小. 网络决定了以哪些像素为中心,哪些像素是真正需要考虑的,而哪些像素是相关的.关于自注意力跟卷积神经网络的关系,可以参考论文“On the Relationship between Self-attention and Convolutional Layers”[6],这篇论文用数学的方式严谨地告诉我们,卷积神经网络就是自注意力的特例.