原书出处
深度学习详解
07 Transformer 7.3 Transformer编码器
图7.13 给出了 Transformer 编码器的详细结构,其中的“×”表示共执行 次. 首先,在输入的地方需要加上位置编码. 因为只用自注意力,没有位置信息,所以需要加上位置编码. 多头自注意力就是自注意力的块.经过自注意力后,还要加上残差连接和层归一化.接下来经过全连接前馈神经网络,并做一次残差连接和层归一化,才能得到一个块的输出,这个块会重复次.Transformer编码器其实不一定非得这样设计,论文“On Layer Normalization in the Transformer Architecture”[4] 提出了另一种设计,结果比原来的设计要好.原始的Transformer 结构并不是最优设计,我们可以思考一下,看看有没有更好的设计.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc