知识卡片
编码器解码器堆叠
Encoder由N个结构相同的EncoderLayer堆叠,每层含两个sub-layer:多头自注意力MHA与逐点前馈FFN,每个sub-layer都配LayerNorm与Dropout并接残差连接。Decoder由N个DecoderLayer堆叠,每层有三个sub-layer:带掩码的自注意力mha1、关注Encoder输出的交叉注意力mha2、FFN。这种N层重复加残差归一化的设计让深层网络可训练;二者最关键的区别正是Decoder多出的mha2与前瞻掩码,前者带来源端信息,后者阻断未来信息泄漏。
结构图:
classDiagram
class EncoderLayer {
+MHA mha
+FFN ffn
+LayerNorm layernorm1
+LayerNorm layernorm2
+Dropout dropout1
+Dropout dropout2
+call(x, training, mask)
}
class DecoderLayer {
+MHA mha1
+MHA mha2
+FFN ffn
+LayerNorm layernorm1
+LayerNorm layernorm2
+LayerNorm layernorm3
+call(x, enc_output, training, masks)
}
class MHA
class FFN
EncoderLayer o-- MHA : self attention
EncoderLayer o-- FFN
DecoderLayer o-- MHA : masked self attention
DecoderLayer o-- MHA : cross attention
DecoderLayer o-- FFN
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
使用MHA、dropout、norm及FFN构成一个EncoderLayer模块。 # Encoder有N个 EncoderLayer模块,而每个EncoderLayer模块又有两个sub-layer,即MHA & FFN
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文写明EncoderLayer有两个sub-layer即MHA与FFN,DecoderLayer则有三个sub-layer。
- 原始内容:使用MHA、dropout、norm及FFN构成一个EncoderLayer模块。 # Encoder有N个 EncoderLayer模块,而每个EncoderLayer模块又有两个sub-layer,即MHA & FFN