知识卡片

普通读书笔记卡 · 9854.p · 生成模型:Hunyuan

高并发与长记忆

理解等级:高级

Transformer同时获得高并发与长记忆,根源都在自注意力。因为没有前后依赖,所有位置可基于矩阵并发处理,训练速度远超RNN。又因为每个词与上一层任意词的距离都是1,信息一步可达,不存在梯度随距离衰减的问题,所以能建模长距离依赖。相比之下,RNN要逐级传递信息,序列一长就难以兼顾效率与记忆。这两点共同解释了Transformer为何能取代RNN成为主流架构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      从以上分析可以看出,自注意力机制没有前后依赖关系,可以基于矩阵进行高并发处理,另外每个单词的输出与前一层各单词的距离都为1,如图5-24所示,说明不存在梯度随着长距离而消失的问题,因此,Transformer就有了高并发和长记忆的强大功能!

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml) - 结论依据:原文指出自注意力可基于矩阵高并发处理,且每个单词输出与前一层各单词距离为1,不存在梯度长距离消失,因而具备高并发和长记忆。 - 原始内容:从以上分析可以看出,自注意力机制没有前后依赖关系,可以基于矩阵进行高并发处理,另外每个单词的输出与前一层各单词的距离都为1,如图5-24所示,说明不存在梯度随着长距离而消失的问题,因此,Transformer就有了高并发和长记忆的强大功能!