← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.m · 生成模型:Hunyuan

完整Transformer模型

理解等级:中级

Transformer类封装Encoder、Decoder与final_layer,一次前向即可完成翻译建模:英文inp经Encoder得enc_output;中文tar经Decoder并在每层用MHA2关注enc_output得dec_output;最后Dense把dec_output投影到target_vocab_size维的logits。输入是两条二维索引序列,输出是(batch, tar_seq_len, target_vocab_size)的分布前体,需再经softmax才是概率。训练时用tar_inp与tar_real错位一位实现用前字预测后字;封装后调用方无需手工传递enc_output,直接丢入中英索引批次即可。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文描述inp经Encoder变为enc_output,tar在Decoder每层用MHA2关注该输出后由Decoder输出。 - 原始内容:对应的中文序列tar则会在Decoder经历相同流程并在每一层的Decoder Layer利用MHA 2关注Encoder的输出enc_output,最后被Decoder输出。