知识卡片
注意力与循环的依赖
单向循环网络通过逐步传递隐藏状态整合历史,时间步之间存在顺序依赖;自注意力能直接计算位置间关联,在完整输入可用时可并行计算各位置。双向循环也能利用两侧上下文;实时生成中的因果掩码则会限制注意力访问未来位置,实际速度还受实现和序列长度影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自注意力机制 6.7 对比自注意力与循环神经网络 · 查看原书依据
自注意力和循环神经网络还有另一个更主要的不同之处:循环神经网络在输入和输出均为序列的时候,是没有办法对它们进行并行化的.比如计算第二个输出的向量,不仅需要第二个输入的向量,还需要前一个时间点的输出向量.当输入是一组向量、输出是另一组向量的时候,循环神经网络无法并行处理所有的输出,但自注意力可以.输入一组向量,自注意力模型输出的时候,每一个向量都是同时并行产生的,自注意力比循环神经网络的运算速度更快. 很多应用已经把循环神经网络的架构逐渐改成自注意力的架构了.如果想要进一步了解循环神经网络和自注意力的关系,可以阅读论文 “Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention”[8].
参考来源
- 位置:《深度学习详解》第6章《自注意力机制》6.7 对比自注意力与循环神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`)
- 结论依据:原文讨论局部窗口、卷积与循环的结构差异及图邻接限制;softmax 掩码说明是对实现边界的补充。
- 原始内容:自注意力和循环神经网络还有另一个更主要的不同之处:循环神经网络在输入和输出均为序列的时候,是没有办法对它们进行并行化的.比如计算第二个输出的向量,不仅需要第二个输入的向量,还需要前一个时间点的输出向量.当输入是一组向量、输出是另一组向量的时候,循环神经网络无法并行处理所有的输出,但自注意力可以.输入一组向量,自注意力模型输出的时候,每一个向量都是同时并行产生的,自注意力比循环神经网络的运算速度更快. 很多应用已经把循环神经网络的架构逐渐改成自注意力的架构了.如果想要进一步了解循环神经网络和自注意力的关系,可以阅读论文 “Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention”[8].