知识卡片
批标准化重参数化
批标准化不是优化算法,而是一种自适应重参数化,用来缓解训练极深模型时多层同时更新带来的协调困难:某层权重更新的效果会被其他层的高阶相互作用放大,使合适学习率极难选择。它对每层的 mini-batch 激活按单元减去均值、除以标准差做标准化,并把均值和标准差的计算纳入反向传播,使梯度无法再简单改变激活的均值或方差——这是关键创新。测试时用训练阶段累积的运行均值,以便单样本评估。标准化会降低表达能力,因此引入可学习的 γ、β 把标准化后的激活重新缩放和平移;新参数让均值只由 β 决定,学习动态更简单。通常把批标准化作用在激活函数之前的 XW+b 上,并忽略偏置,由 β 替代。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
批标准化(Ioffe and Szegedy,2015)是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法,而是一个自适应的重参数化的方法,试图解决训练非常深的模型的困难。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文指出批标准化并非优化算法而是自适应重参数化方法,目的是解决训练非常深的模型的困难。
- 原始内容:批标准化(Ioffe and Szegedy,2015)是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法,而是一个自适应的重参数化的方法,试图解决训练非常深的模型的困难。