知识卡片
线性堆叠仍是线性
神经网络的一层做的是:把输入与当前层权重相乘,再加偏置。这是线性(严格说是仿射)运算。问题在于,多个仿射变换叠起来还是仿射变换:
第 1 层:h = W₁x + b₁ 第 2 层:y = W₂h + b₂ = (W₂W₁)x + (W₂b₁ + b₂)
结果仍是 W′x + b′ 的形式。无论叠多少层,只要中间没有非线性,整个网络等价于一次线性变换——深度白加了,表达能力甚至不如一层。
所以必须在每层的线性组合之后引入非线性函数 σ,把结果再传给下一层:
o(l) = σ(W(l)o(l−1) + b(l))
这就是激活函数。它逐元素作用在向量上,不改变维度,只改变数值的范围与分布。
两个直接推论:
- 激活函数必须非线性。恒等函数、线性函数都不合格,它们不会带来任何新的假设空间。
- 非线性的位置在”线性组合之后、传给下一层之前”。这个位置决定了反向传播的形态:梯度回传时要先乘本层激活的导数 σ′(z(l)),正是这一项造成了后面的梯度消失问题。
边界:堆叠非线性层确实扩大了假设空间,但代价是优化变难——非凸、对初始化敏感、需要更多数据。原文的万能逼近定理只保证”存在”这样的网络能逼近连续函数,并不保证梯度下降一定学得到。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.4 几种常用激活函数 · 查看原书依据
如果只是将多种线性运算进行组合,那么其结果还是线性运算。如果希望模型有非线性划分能力,应该怎么办呢?答案就是引入激活函数,即将每个神经元的线性组合结果送入一个非线性数激活函数中,将输出结果再作为下一层神经元的输入。
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在介绍激活函数前明确指出,多种线性运算组合后仍是线性运算,因此需要非线性激活函数赋予模型非线性划分能力。
- 原始内容:如果只是将多种线性运算进行组合,那么其结果还是线性运算。如果希望模型有非线性划分能力,应该怎么办呢?答案就是引入激活函数,即将每个神经元的线性组合结果送入一个非线性数激活函数中,将输出结果再作为下一层神经元的输入。