知识卡片
Transformer英译中总体架构
Transformer本质是编码器—解码器架构:Encoder把英文源序列编码成上下文表示enc_output,Decoder结合目标端已生成的部分与enc_output自回归地产出中文,最后由Dense层把Decoder输出投影到词表大小的logits。构造时先分别实例化Encoder与Decoder,再叠加final_layer。数据流清晰:inp经Encoder得enc_output;(tar,enc_output)经Decoder得dec_output;dec_output经final_layer得logits与注意力权重。把Decoder封装起来的好处是调用方不必手工传递enc_output,只需丢入中英两条索引序列。
结构图:
classDiagram
class Transformer {
+Encoder encoder
+Decoder decoder
+Dense final_layer
+call(inp, tar, training, masks)
}
class Encoder {
+Embedding embedding
+pos_encoding
+List~EncoderLayer~ enc_layers
+call(x, training, mask)
}
class Decoder {
+Embedding embedding
+pos_encoding
+List~DecoderLayer~ dec_layers
+call(x, enc_output, training, masks)
}
class EncoderLayer
class DecoderLayer
class Dense
Encoder "1" o-- "N" EncoderLayer
Decoder "1" o-- "N" DecoderLayer
Transformer --> Encoder : inp to enc_output
Transformer --> Decoder : tar and enc_output
Transformer --> Dense : dec_output to logits
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
从图12-2不难看出,Transformer由一个编码器(Encoder)和一个解码器(Decoder)构成,而Encoder又由N个Encoder Layer构成,Decoder又由N个Decoder Layer构成。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文指出Transformer由编码器和解码器构成,并在构建模型中给出encoder、decoder、final_layer的组合方式。
- 原始内容:从图12-2不难看出,Transformer由一个编码器(Encoder)和一个解码器(Decoder)构成,而Encoder又由N个Encoder Layer构成,Decoder又由N个Decoder Layer构成。