知识卡片

普通读书笔记卡 · 9887.c · 生成模型:Hunyuan

隐藏层非线性激活的必要性

理解等级:中级

如果隐藏层仍用线性函数,那么无论堆叠多少层,整个网络对输入仍是线性的,因为线性函数的复合还是线性函数,表达能力不会超过单层线性模型。要获得真正的非线性能力,必须在仿射变换之后接一个固定的非线性激活函数 g,通常逐元素作用。ReLU(g(z)=max{0,z})是现代默认推荐:它是分段线性的,既提供非线性,又几乎保留线性模型易于用梯度优化、易于泛化的性质。直觉是从最小的线性部件构造复杂的非线性函数,类似图灵机只需存储 0/1 就能实现通用计算。边界:ReLU 在 z=0 处不可微,但实践中梯度下降仍工作良好,因为训练并不要求真正到达梯度为零的极小点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      显然,我们必须用非线性函数来描述这些特征。大多数神经网络通过仿射变换之后紧跟着一个被称为激活函数的固定非线性函数来实现这个目标,其中仿射变换由学得的参数控制。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文明确指出若 f(1) 线性则整体仍线性,必须用非线性函数描述特征,并介绍仿射变换加激活函数的做法及 ReLU 的默认地位。 - 原始内容:显然,我们必须用非线性函数来描述这些特征。大多数神经网络通过仿射变换之后紧跟着一个被称为激活函数的固定非线性函数来实现这个目标,其中仿射变换由学得的参数控制。