原书出处
深度学习详解
06 自注意力机制 6.6 对比自注意力与卷积神经网络
自注意力跟卷积神经网络之间有什么样的差异或关联呢?如图6.37(a) 所示,用自注意力来处理一幅图像,假设红框内的“1”是要考虑的像素,它会产生查询,其他像素产生键. 在做内积的时候,考虑的不是一个小的范围,而是整幅图像的信息.如图6.37(b) 所示,在做卷积神经网络的时候,卷积神经网络会“画”出一个感受野,只考虑感受野范围内的信息.通过比较卷积神经网络和自注意力,我们发现,卷积神经网络可以看作一种简化版的自注意力,因为在做卷积神经网络的时候,只考虑感受野范围内的信息;而自注意力会考虑整幅图像的信息.在卷积神经网络中,我们需要划定感受野.每一个神经元只考虑感受野范围内的信息,而感受野的大小是由人决定的.用自注意力找出相关的像素,就好像感受野是自动学出来的,网络自行决定感受野的大小. 网络决定了以哪些像素为中心,哪些像素是真正需要考虑的,而哪些像素是相关的.关于自注意力跟卷积神经网络的关系,可以参考论文“On the Relationship between Self-attention and Convolutional Layers”[6],这篇论文用数学的方式严谨地告诉我们,卷积神经网络就是自注意力的特例.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc