知识卡片

普通读书笔记卡 · 9854.i · 生成模型:Hunyuan

Transformer顶层架构

理解等级:中级

Transformer是2017年论文《Attention is all you need》提出的架构,完全抛弃循环与卷积,只用注意力与前馈网络构建编码器-解码器。Encoder由6个相同编码器串联,Decoder由6个相同解码器串联,最后一层Encoder的输出会送入Decoder的每一层。它在机器翻译等任务上成为SOTA,并扩展到搜索排序、推荐系统和图像处理。其成功关键在于自注意力带来的并行性与长距离建模能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      Transformer的Encoder组件由6个相同结构的Encoder串联而成,Decoder组件也是由6个结构相同的Decoder串联而成,如图5-12所示。 图5-12 Transformer架构 如图5-12所示,最后一层Encoder的输出将传入Decoder的每一层。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml) - 结论依据:原文介绍Transformer来自2017年论文且在多项NLP任务上优于RNN,并说明Encoder、Decoder各由6个相同模块串联、Encoder输出传入Decoder每层。 - 原始内容:Transformer的Encoder组件由6个相同结构的Encoder串联而成,Decoder组件也是由6个结构相同的Decoder串联而成,如图5-12所示。 图5-12 Transformer架构 如图5-12所示,最后一层Encoder的输出将传入Decoder的每一层。