知识卡片
层归一化与批量归一化
层归一化对单个样本某位置的特征维度计算均值与方差,再规范化该向量;批量归一化通常跨批量样本为相应特征计算统计。前者不依赖同批其他样本,适合变长序列中的逐位置处理;两者统计轴和训练、推断行为不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.3 Transformer编码器 · 查看原书依据
批量归一化是对不同样本、不同特征的同一个维度计算均值和标准差,而层归一化是对同一个特征、同一个样本里面不同的维度计算均值和标准差,接着做归一化.将输入向量里面的每一个维度减掉均值,再除以标准差,得到的 就是层归一化的输出,如式(7.1) 所示. 得到层归一化的输出以后,将其作为全连接网络的输入.输入全连接网络的还有一个残差连接,把全连接网络的输入和输出加起来,得到新的输出.对残差的结果再做一次层归一化,得到的输出才是 Transformer 编码器里面一个块的输出.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.3 Transformer编码器(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以编解码结构图和编码器块说明各部分以及两种归一化的统计范围。
- 原始内容:批量归一化是对不同样本、不同特征的同一个维度计算均值和标准差,而层归一化是对同一个特征、同一个样本里面不同的维度计算均值和标准差,接着做归一化.将输入向量里面的每一个维度减掉均值,再除以标准差,得到的 就是层归一化的输出,如式(7.1) 所示. 得到层归一化的输出以后,将其作为全连接网络的输入.输入全连接网络的还有一个残差连接,把全连接网络的输入和输出加起来,得到新的输出.对残差的结果再做一次层归一化,得到的输出才是 Transformer 编码器里面一个块的输出.