知识卡片

普通读书笔记卡 · 9889.m · 生成模型:Hunyuan

批标准化重参数化

理解等级:高级

批标准化不是优化算法,而是一种自适应重参数化,用来缓解训练极深模型时多层同时更新带来的协调困难:某层权重更新的效果会被其他层的高阶相互作用放大,使合适学习率极难选择。它对每层的 mini-batch 激活按单元减去均值、除以标准差做标准化,并把均值和标准差的计算纳入反向传播,使梯度无法再简单改变激活的均值或方差——这是关键创新。测试时用训练阶段累积的运行均值,以便单样本评估。标准化会降低表达能力,因此引入可学习的 γ、β 把标准化后的激活重新缩放和平移;新参数让均值只由 β 决定,学习动态更简单。通常把批标准化作用在激活函数之前的 XW+b 上,并忽略偏置,由 β 替代。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      批标准化(Ioffe and Szegedy,2015)是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法,而是一个自适应的重参数化的方法,试图解决训练非常深的模型的困难。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出批标准化并非优化算法而是自适应重参数化方法,目的是解决训练非常深的模型的困难。 - 原始内容:批标准化(Ioffe and Szegedy,2015)是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法,而是一个自适应的重参数化的方法,试图解决训练非常深的模型的困难。