← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.k · 生成模型:Hunyuan

编码器层与编码器

理解等级:中级

EncoderLayer有两个sub-layer:先用MHA对输入自身做自注意力(q=k=v=x),配合padding mask屏蔽,再经FFN;每个sub-layer都做Dropout与残差相加后LayerNorm。Encoder在最外层先把二维索引经Embedding转成三维向量,乘sqrt(d_model)后再加位置编码,然后依次穿过N个EncoderLayer输出enc_output。乘sqrt(d_model)是为平衡Embedding与位置编码的量级;整个Encoder不使用look-ahead掩码,因为源语言在编码时可全序列可见,这与Decoder形成对照。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文给出attn_output = self.mha(x,x,x,mask)与layernorm1(x+attn_output)的残差写法,Encoder中先乘sqrt再叠加pos_encoding。 - 原始内容:attn_output, attn = self.mha(x, x, x, mask) attn_output = self.dropout1(attn_output, training=training) out1 = self.layernorm1(x + attn_output)