知识卡片

普通读书笔记卡 · 9887.j · 生成模型:Hunyuan

ReLU及其分段线性扩展

理解等级:中级

ReLU 之所以成为默认隐藏单元,是因为它几乎就是线性单元:激活时导数为 1、梯度大而一致,二阶导数几乎处处为 0,使优化更接近线性模型。它的缺陷是对激活为零的样本梯度为 0,无法学习。扩展方案在 z 时给非零斜率:绝对值整流取 α=−1,用于寻找对照明极性反转不变的图像特征;Leaky ReLU 固定一个如 0.01 的小斜率;PReLU 把斜率作为参数学习。maxout 更进一步,把单元分成 k 组并取每组最大值,能学习最多 k 段的凸分段线性函数,相当于学习激活函数本身,足够大的 k 可近似任意凸函数;代价是参数更多、需更多正则化,但能减少下层权重数并利用冗余抵抗灾难性遗忘。总体原则是越接近线性越容易优化,这也解释了 LSTM 用求和传播信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      整流线性单元易于优化,因为它们和线性单元非常类似。线性单元和整流线性单元的唯一区别在于整流线性单元在其一半的定义域上输出为零。这使得只要整流线性单元处于激活状态,它的导数都能保持较大。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文比较了 ReLU 与线性单元的梯度性质,指出其零激活缺陷,并介绍绝对值整流、Leaky ReLU、PReLU 与 maxout 的表达力和正则化代价。 - 原始内容:整流线性单元易于优化,因为它们和线性单元非常类似。线性单元和整流线性单元的唯一区别在于整流线性单元在其一半的定义域上输出为零。这使得只要整流线性单元处于激活状态,它的导数都能保持较大。