← 返回刚才阅读的位置

知识卡片

结构图卡 · 9861.g · 生成模型:Hunyuan

编码器解码器堆叠

理解等级:中级

Encoder由N个结构相同的EncoderLayer堆叠,每层含两个sub-layer:多头自注意力MHA与逐点前馈FFN,每个sub-layer都配LayerNorm与Dropout并接残差连接。Decoder由N个DecoderLayer堆叠,每层有三个sub-layer:带掩码的自注意力mha1、关注Encoder输出的交叉注意力mha2、FFN。这种N层重复加残差归一化的设计让深层网络可训练;二者最关键的区别正是Decoder多出的mha2与前瞻掩码,前者带来源端信息,后者阻断未来信息泄漏。

结构图:

classDiagram
    class EncoderLayer {
        +MHA mha
        +FFN ffn
        +LayerNorm layernorm1
        +LayerNorm layernorm2
        +Dropout dropout1
        +Dropout dropout2
        +call(x, training, mask)
    }
    class DecoderLayer {
        +MHA mha1
        +MHA mha2
        +FFN ffn
        +LayerNorm layernorm1
        +LayerNorm layernorm2
        +LayerNorm layernorm3
        +call(x, enc_output, training, masks)
    }
    class MHA
    class FFN
    EncoderLayer o-- MHA : self attention
    EncoderLayer o-- FFN
    DecoderLayer o-- MHA : masked self attention
    DecoderLayer o-- MHA : cross attention
    DecoderLayer o-- FFN
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文写明EncoderLayer有两个sub-layer即MHA与FFN,DecoderLayer则有三个sub-layer。 - 原始内容:使用MHA、dropout、norm及FFN构成一个EncoderLayer模块。 # Encoder有N个 EncoderLayer模块,而每个EncoderLayer模块又有两个sub-layer,即MHA & FFN