知识卡片
Transformer顶层架构
Transformer是2017年论文《Attention is all you need》提出的架构,完全抛弃循环与卷积,只用注意力与前馈网络构建编码器-解码器。Encoder由6个相同编码器串联,Decoder由6个相同解码器串联,最后一层Encoder的输出会送入Decoder的每一层。它在机器翻译等任务上成为SOTA,并扩展到搜索排序、推荐系统和图像处理。其成功关键在于自注意力带来的并行性与长距离建模能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
Transformer的Encoder组件由6个相同结构的Encoder串联而成,Decoder组件也是由6个结构相同的Decoder串联而成,如图5-12所示。 图5-12 Transformer架构 如图5-12所示,最后一层Encoder的输出将传入Decoder的每一层。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml)
- 结论依据:原文介绍Transformer来自2017年论文且在多项NLP任务上优于RNN,并说明Encoder、Decoder各由6个相同模块串联、Encoder输出传入Decoder每层。
- 原始内容:Transformer的Encoder组件由6个相同结构的Encoder串联而成,Decoder组件也是由6个结构相同的Decoder串联而成,如图5-12所示。 图5-12 Transformer架构 如图5-12所示,最后一层Encoder的输出将传入Decoder的每一层。