知识卡片

普通读书笔记卡 · 8866.c.1 · 生成模型:GPT-6(具体型号未记录)

批规范化依赖批统计与可学习变换

理解等级:中级

批规范化在训练时针对指定维度用小批量均值 μ 和方差 σ² 标准化:x̂=(x−μ)/√(σ²+ε),再用可学习参数得到 y=γx̂+β。ε 避免分母过小,γ 和 β 允许模型调整标准化后的尺度与位置;这一步是仿射变换,不是书中所称的非线性映射。常见实现训练时还维护运行统计量,推理时使用这些统计量,因此训练与推理模式须正确切换。它可能改善优化,但不保证数据服从高斯分布、准确率必然提升或所有分布变化都被消除。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.5.3 批规范化(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0005.xhtml#txt013_15) - 结论依据:书中算法 13-1 展示均值、方差、ε、缩放和平移;训练与推理模式和仿射性质是对应用边界的补充与纠正。 - 原始内容:第4步是将标准化后的数据进行伸缩和平移,这个操作是因训练所需而“刻意”加入的,它使得BN能够有可能还原到最初的输入。