← 返回卡片

原书出处

深度学习详解

07 Transformer 7.3 Transformer编码器

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

批量归一化是对不同样本、不同特征的同一个维度计算均值和标准差,而层归一化是对同一个特征、同一个样本里面不同的维度计算均值和标准差,接着做归一化.将输入向量里面的每一个维度减掉均值,再除以标准差,得到的 就是层归一化的输出,如式(7.1) 所示. 得到层归一化的输出以后,将其作为全连接网络的输入.输入全连接网络的还有一个残差连接,把全连接网络的输入和输出加起来,得到新的输出.对残差的结果再做一次层归一化,得到的输出才是 Transformer 编码器里面一个块的输出.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc