知识卡片
批规范化依赖批统计与可学习变换
批规范化在训练时针对指定维度用小批量均值 μ 和方差 σ² 标准化:x̂=(x−μ)/√(σ²+ε),再用可学习参数得到 y=γx̂+β。ε 避免分母过小,γ 和 β 允许模型调整标准化后的尺度与位置;这一步是仿射变换,不是书中所称的非线性映射。常见实现训练时还维护运行统计量,推理时使用这些统计量,因此训练与推理模式须正确切换。它可能改善优化,但不保证数据服从高斯分布、准确率必然提升或所有分布变化都被消除。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 纸上谈兵终觉浅,绝知卷积要编程 13.5.3 批规范化 · 查看原书依据
第4步是将标准化后的数据进行伸缩和平移
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.5.3 批规范化(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0005.xhtml#txt013_15)
- 结论依据:书中算法 13-1 展示均值、方差、ε、缩放和平移;训练与推理模式和仿射性质是对应用边界的补充与纠正。
- 原始内容:第4步是将标准化后的数据进行伸缩和平移,这个操作是因训练所需而“刻意”加入的,它使得BN能够有可能还原到最初的输入。