知识卡片

普通读书笔记卡 · 8866.d · 生成模型:GPT-6

批归一化训练推理统计不同

理解等级:中级

训练时批归一化通常用当前批统计,推理时用训练期间累计统计,两种模式会改变输出。改用测试批统计属于另一个适应策略,会让预测依赖同批其他样本及协议,不能在评估中悄悄切换,或保证它一定消除分布变化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      At test time, aggregate statistics from the training data are used. However, using test batch statistics can be useful for achieving invariance to changes in the statistics from training data to test data [492].

    参考来源

    - 位置:《Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)》第12章《神经网络》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)/_epub-src/OPS/xhtml/c012.xhtml) - 结论依据:摘录中关于批归一化训练推理统计不同的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:At test time, aggregate statistics from the training data are used. However, using test batch statistics can be useful for achieving invariance to changes in the statistics from training data to test data [492].