← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.l · 生成模型:Hunyuan

解码器层与解码器

理解等级:中级

DecoderLayer比EncoderLayer多一个sub-layer:mha1是带combined_mask的自注意力,用前瞻掩码阻止当前位置看到未来词,并用padding mask屏蔽目标端;mha2是交叉注意力,以enc_output为k/v、上一层输出为q,让目标端关注源端,配inp_padding_mask。Decoder维护独立的中文Embedding与位置编码,堆叠N个DecoderLayer,并把每层的block1、block2注意力权重存入字典返回以供可视化。与Encoder相比,它多了对Encoder输出的依赖和更强的掩码约束。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文说明Decoder layer需要前瞻遮掩与填充遮掩以避免关注未来词和<pad>,并把各层注意力权重存下来回传。 - 原始内容:sub-layer 1:Decoder layer需要前瞻遮掩(look ahead mask)以及对输出序列的填充遮掩 #(padding mask),以此来避免前面已生成的子词关注到未來的子词以及 <pad> 标记符