原书出处
深度学习详解
07 Transformer 7.3 Transformer编码器
批量归一化是对不同样本、不同特征的同一个维度计算均值和标准差,而层归一化是对同一个特征、同一个样本里面不同的维度计算均值和标准差,接着做归一化.将输入向量里面的每一个维度减掉均值,再除以标准差,得到的 就是层归一化的输出,如式(7.1) 所示. 得到层归一化的输出以后,将其作为全连接网络的输入.输入全连接网络的还有一个残差连接,把全连接网络的输入和输出加起来,得到新的输出.对残差的结果再做一次层归一化,得到的输出才是 Transformer 编码器里面一个块的输出.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc