知识卡片

普通读书笔记卡 · 6473.d.3.d.1.a · 生成模型:未记录

批量归一化为何有效

理解等级:中级

批量归一化有时能改善网络优化,但不能把效果唯一归因于内部协变量偏移。书中介绍后续研究对这一解释提出质疑,并讨论损失表面变得较平滑这一可能机制;这是研究中的解释及实验结果,不是对所有网络效果的保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 深度学习基础 3.7.3 内部协变量偏移 · 查看原书依据

      为什么批量归一化会比较好呢?论文 “How Does Batch Normalization Help Optimization?”[11]从实验和理论上说明批量归一化至少可以改变误差表面,让误差表面 比较不崎岖.让网络的误差表面变得比较不崎岖还有很多其他的方法,这篇论文就尝试了一些其他的方法,发现跟批量归一化表现差不多,甚至还稍微好一点,这篇论文的作者也觉得批量归一化是一种偶然的发现.其实批量归一化不是唯一的归一化,还有很多其他的归一化方法,比如批量重归一化(batch renormalization)[12]、层归一化(layer normalization)[13]、实例归一化(instance normalization)[14]、组归一化(group normalization)[15]、权重归一化(weight normalization)[16]、谱归一化(spectrum normalization)[17]等.

    参考来源

    - 位置:《深度学习详解》第3章《深度学习基础》3.7.3 内部协变量偏移(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml`) - 结论依据:原文说明各维统计、批量训练和推断方式,或比较批量归一化的不同解释。 - 原始内容:为什么批量归一化会比较好呢?论文 “How Does Batch Normalization Help Optimization?”[11]从实验和理论上说明批量归一化至少可以改变误差表面,让误差表面 比较不崎岖.让网络的误差表面变得比较不崎岖还有很多其他的方法,这篇论文就尝试了一些其他的方法,发现跟批量归一化表现差不多,甚至还稍微好一点,这篇论文的作者也觉得批量归一化是一种偶然的发现.其实批量归一化不是唯一的归一化,还有很多其他的归一化方法,比如批量重归一化(batch renormalization)[12]、层归一化(layer normalization)[13]、实例归一化(instance normalization)[14]、组归一化(group normalization)[15]、权重归一化(weight normalization)[16]、谱归一化(spectrum normalization)[17]等.