知识卡片
完整Transformer模型
Transformer类封装Encoder、Decoder与final_layer,一次前向即可完成翻译建模:英文inp经Encoder得enc_output;中文tar经Decoder并在每层用MHA2关注enc_output得dec_output;最后Dense把dec_output投影到target_vocab_size维的logits。输入是两条二维索引序列,输出是(batch, tar_seq_len, target_vocab_size)的分布前体,需再经softmax才是概率。训练时用tar_inp与tar_real错位一位实现用前字预测后字;封装后调用方无需手工传递enc_output,直接丢入中英索引批次即可。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
对应的中文序列tar则会在Decoder经历相同流程并在每一层的Decoder Layer利用MHA 2关注Encoder的输出enc_output,最后被Decoder输出。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文描述inp经Encoder变为enc_output,tar在Decoder每层用MHA2关注该输出后由Decoder输出。
- 原始内容:对应的中文序列tar则会在Decoder经历相同流程并在每一层的Decoder Layer利用MHA 2关注Encoder的输出enc_output,最后被Decoder输出。