原书出处
深度学习详解
03 深度学习基础 3.7.1 放入深度神经网络
此时会有一个问题:因为训练数据非常多,现在一个数据集可能有上百万笔数据,GPU 无法同时加载整个数据集的数据.因此,在实现的时候,我们不会让这个网络考虑整个训练数据里面的所有样本,而是只考虑一个批量里面的样本. 比如将批量大小设为 64,这个网络就把 64 笔数据读进去,计算这 64 笔数据的 和,对这 64 笔数据做归一化. 因为在实际实现的时候,只对一个批量里面的数据做归一化,所以称为批量归一化. 一定要有一个够大的批量,才能算得出 和.批量归一化适用于批量大小比较大的情况,批量大小如果比较大,也许这个批量里面的数据就足以表示整个数据集的分布. 这时候就不需要对整个数据集做特征归一化,而可以只在一个批量上做特征归一化作为近似.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc