原书出处
深度学习详解
03 深度学习基础 3.7.3 内部协变量偏移
为什么批量归一化会比较好呢?论文 “How Does Batch Normalization Help Optimization?”[11]从实验和理论上说明批量归一化至少可以改变误差表面,让误差表面 比较不崎岖.让网络的误差表面变得比较不崎岖还有很多其他的方法,这篇论文就尝试了一些其他的方法,发现跟批量归一化表现差不多,甚至还稍微好一点,这篇论文的作者也觉得批量归一化是一种偶然的发现.其实批量归一化不是唯一的归一化,还有很多其他的归一化方法,比如批量重归一化(batch renormalization)[12]、层归一化(layer normalization)[13]、实例归一化(instance normalization)[14]、组归一化(group normalization)[15]、权重归一化(weight normalization)[16]、谱归一化(spectrum normalization)[17]等.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc