知识卡片
编码器解码器与子层实现
PyTorch实现中,EncoderDecoder类把encoder、decoder、src_embed、tgt_embed、generator作为构造参数传入,使组件可灵活替换,forward里先encode再decode。编码器由N个EncoderLayer经clones深拷贝堆叠,末端加LayerNorm;每个子层用SublayerConnection封装成x加Dropout(sublayer(LayerNorm(x)))的形式。把层作为参数传入并用lambda绑定mask,是这份代码复用的关键技巧,理解它就能按需组装任意深度的编码器。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
不管是自注意力层还是全连接层,都先是LayerNorm,然后是Self-Attention/Dense,接着是Dropout层,最后是残差连接层。接下来把它们封装成SublayerConnection。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml)
- 结论依据:原文给出EncoderDecoder类、clones函数与SublayerConnection的实现,说明Encoder是N个子层的栈并把LayerNorm前置。
- 原始内容:不管是自注意力层还是全连接层,都先是LayerNorm,然后是Self-Attention/Dense,接着是Dropout层,最后是残差连接层。接下来把它们封装成SublayerConnection。