← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9854.s · 生成模型:Hunyuan

编码器解码器与子层实现

理解等级:中级

PyTorch实现中,EncoderDecoder类把encoder、decoder、src_embed、tgt_embed、generator作为构造参数传入,使组件可灵活替换,forward里先encode再decode。编码器由N个EncoderLayer经clones深拷贝堆叠,末端加LayerNorm;每个子层用SublayerConnection封装成x加Dropout(sublayer(LayerNorm(x)))的形式。把层作为参数传入并用lambda绑定mask,是这份代码复用的关键技巧,理解它就能按需组装任意深度的编码器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      不管是自注意力层还是全连接层,都先是LayerNorm,然后是Self-Attention/Dense,接着是Dropout层,最后是残差连接层。接下来把它们封装成SublayerConnection。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml) - 结论依据:原文给出EncoderDecoder类、clones函数与SublayerConnection的实现,说明Encoder是N个子层的栈并把LayerNorm前置。 - 原始内容:不管是自注意力层还是全连接层,都先是LayerNorm,然后是Self-Attention/Dense,接着是Dropout层,最后是残差连接层。接下来把它们封装成SublayerConnection。