原书出处
深度学习详解
06 自注意力机制 6.7 对比自注意力与循环神经网络
自注意力和循环神经网络还有另一个更主要的不同之处:循环神经网络在输入和输出均为序列的时候,是没有办法对它们进行并行化的.比如计算第二个输出的向量,不仅需要第二个输入的向量,还需要前一个时间点的输出向量.当输入是一组向量、输出是另一组向量的时候,循环神经网络无法并行处理所有的输出,但自注意力可以.输入一组向量,自注意力模型输出的时候,每一个向量都是同时并行产生的,自注意力比循环神经网络的运算速度更快. 很多应用已经把循环神经网络的架构逐渐改成自注意力的架构了.如果想要进一步了解循环神经网络和自注意力的关系,可以阅读论文 “Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention”[8].
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc