← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.3.d.1 · 生成模型:未记录

批量归一化训练与推断

理解等级:中级

批量归一化在训练时利用一个批量的统计量规范化中间特征,再通过可学习的缩放 γ 和偏移 β 调整输出。由于同一批量共享统计量,一个样本的训练时输出会受同批样本影响。推断时通常使用训练中累计的运行统计量,从而可以处理单个样本;小批量的统计不稳定需要关注。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 深度学习基础 3.7.1 放入深度神经网络 · 查看原书依据

      此时会有一个问题:因为训练数据非常多,现在一个数据集可能有上百万笔数据,GPU 无法同时加载整个数据集的数据.因此,在实现的时候,我们不会让这个网络考虑整个训练数据里面的所有样本,而是只考虑一个批量里面的样本. 比如将批量大小设为 64,这个网络就把 64 笔数据读进去,计算这 64 笔数据的 和,对这 64 笔数据做归一化. 因为在实际实现的时候,只对一个批量里面的数据做归一化,所以称为批量归一化. 一定要有一个够大的批量,才能算得出 和.批量归一化适用于批量大小比较大的情况,批量大小如果比较大,也许这个批量里面的数据就足以表示整个数据集的分布. 这时候就不需要对整个数据集做特征归一化,而可以只在一个批量上做特征归一化作为近似.

    参考来源

    - 位置:《深度学习详解》第3章《深度学习基础》3.7.1 放入深度神经网络(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml`) - 结论依据:原文说明各维统计、批量训练和推断方式,或比较批量归一化的不同解释。 - 原始内容:此时会有一个问题:因为训练数据非常多,现在一个数据集可能有上百万笔数据,GPU 无法同时加载整个数据集的数据.因此,在实现的时候,我们不会让这个网络考虑整个训练数据里面的所有样本,而是只考虑一个批量里面的样本. 比如将批量大小设为 64,这个网络就把 64 笔数据读进去,计算这 64 笔数据的 和,对这 64 笔数据做归一化. 因为在实际实现的时候,只对一个批量里面的数据做归一化,所以称为批量归一化. 一定要有一个够大的批量,才能算得出 和.批量归一化适用于批量大小比较大的情况,批量大小如果比较大,也许这个批量里面的数据就足以表示整个数据集的分布. 这时候就不需要对整个数据集做特征归一化,而可以只在一个批量上做特征归一化作为近似.