← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.d.4 · 生成模型:未记录

注意力与卷积的取舍

理解等级:中级

卷积通常按预设的局部感受野和共享权重提取模式;自注意力可根据输入计算位置间的权重,未限制时可以直接聚合较远位置的信息。卷积提供较强的局部结构假设,注意力更灵活但全局计算开销大;具体效果受数据、架构和训练条件影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自注意力机制 6.6 对比自注意力与卷积神经网络 · 查看原书依据

      自注意力跟卷积神经网络之间有什么样的差异或关联呢?如图6.37(a) 所示,用自注意力来处理一幅图像,假设红框内的“1”是要考虑的像素,它会产生查询,其他像素产生键. 在做内积的时候,考虑的不是一个小的范围,而是整幅图像的信息.如图6.37(b) 所示,在做卷积神经网络的时候,卷积神经网络会“画”出一个感受野,只考虑感受野范围内的信息.通过比较卷积神经网络和自注意力,我们发现,卷积神经网络可以看作一种简化版的自注意力,因为在做卷积神经网络的时候,只考虑感受野范围内的信息;而自注意力会考虑整幅图像的信息.在卷积神经网络中,我们需要划定感受野.每一个神经元只考虑感受野范围内的信息,而感受野的大小是由人决定的.用自注意力找出相关的像素,就好像感受野是自动学出来的,网络自行决定感受野的大小. 网络决定了以哪些像素为中心,哪些像素是真正需要考虑的,而哪些像素是相关的.关于自注意力跟卷积神经网络的关系,可以参考论文“On the Relationship between Self-attention and Convolutional Layers”[6],这篇论文用数学的方式严谨地告诉我们,卷积神经网络就是自注意力的特例.

    参考来源

    - 位置:《深度学习详解》第6章《自注意力机制》6.6 对比自注意力与卷积神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`) - 结论依据:原文讨论局部窗口、卷积与循环的结构差异及图邻接限制;softmax 掩码说明是对实现边界的补充。 - 原始内容:自注意力跟卷积神经网络之间有什么样的差异或关联呢?如图6.37(a) 所示,用自注意力来处理一幅图像,假设红框内的“1”是要考虑的像素,它会产生查询,其他像素产生键. 在做内积的时候,考虑的不是一个小的范围,而是整幅图像的信息.如图6.37(b) 所示,在做卷积神经网络的时候,卷积神经网络会“画”出一个感受野,只考虑感受野范围内的信息.通过比较卷积神经网络和自注意力,我们发现,卷积神经网络可以看作一种简化版的自注意力,因为在做卷积神经网络的时候,只考虑感受野范围内的信息;而自注意力会考虑整幅图像的信息.在卷积神经网络中,我们需要划定感受野.每一个神经元只考虑感受野范围内的信息,而感受野的大小是由人决定的.用自注意力找出相关的像素,就好像感受野是自动学出来的,网络自行决定感受野的大小. 网络决定了以哪些像素为中心,哪些像素是真正需要考虑的,而哪些像素是相关的.关于自注意力跟卷积神经网络的关系,可以参考论文“On the Relationship between Self-attention and Convolutional Layers”[6],这篇论文用数学的方式严谨地告诉我们,卷积神经网络就是自注意力的特例.