知识卡片

结构图卡 · 9854.j · 生成模型:Hunyuan

Transformer整体架构

理解等级:中级

结构图揭示模块内部的对称性:每个Encoder层含自注意力与位置前馈网络两个子层,每个Decoder层在此基础上多出一个交叉注意力子层,用于接收Encoder最后一层的输出。最后接Generator把隐状态转成词概率。各层结构相同便于堆叠加深,残差连接与LayerNorm则保证深层可训练。理解这张图就掌握了Transformer编码-解码的数据主干。

结构图:

classDiagram
    class Transformer {
        +Encoder encoder
        +Decoder decoder
    }
    class Encoder {
        +EncoderLayer[6] layers
    }
    class EncoderLayer {
        +MultiHeadSelfAttention self_attn
        +FeedForward ffn
        +AddAndNorm norm
    }
    class Decoder {
        +DecoderLayer[6] layers
    }
    class DecoderLayer {
        +MaskedSelfAttention self_attn
        +EncoderDecoderAttention cross_attn
        +FeedForward ffn
    }
    class Generator {
        +LinearAndSoftmax proj
    }
    Transformer *-- Encoder
    Transformer *-- Decoder
    Encoder *-- EncoderLayer
    Decoder *-- DecoderLayer
    EncoderLayer --> DecoderLayer : memory output
    Decoder --> Generator : hidden states
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      每个编码器由一层自注意力和一层前馈网络(Feed Forward)构成,而解码器除自注意力层、前馈网络层外,中间还有一个用来接收最后一个编码器的输出值

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml) - 结论依据:原文说明每个编码器由自注意力和前馈网络构成,解码器另有一个接收最后编码器输出的注意力层,并给出整体架构图。 - 原始内容:每个编码器由一层自注意力和一层前馈网络(Feed Forward)构成,而解码器除自注意力层、前馈网络层外,中间还有一个用来接收最后一个编码器的输出值