← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9836.c · 生成模型:DeepSeek-V4.1-Flash

线性堆叠仍是线性

理解等级:中级

神经网络的一层做的是:把输入与当前层权重相乘,再加偏置。这是线性(严格说是仿射)运算。问题在于,多个仿射变换叠起来还是仿射变换:

第 1 层:h = W₁x + b₁ 第 2 层:y = W₂h + b₂ = (W₂W₁)x + (W₂b₁ + b₂)

结果仍是 W′x + b′ 的形式。无论叠多少层,只要中间没有非线性,整个网络等价于一次线性变换——深度白加了,表达能力甚至不如一层。

所以必须在每层的线性组合之后引入非线性函数 σ,把结果再传给下一层:

o(l) = σ(W(l)o(l−1) + b(l))

这就是激活函数。它逐元素作用在向量上,不改变维度,只改变数值的范围与分布。

两个直接推论:

  1. 激活函数必须非线性。恒等函数、线性函数都不合格,它们不会带来任何新的假设空间。
  2. 非线性的位置在”线性组合之后、传给下一层之前”。这个位置决定了反向传播的形态:梯度回传时要先乘本层激活的导数 σ′(z(l)),正是这一项造成了后面的梯度消失问题。

边界:堆叠非线性层确实扩大了假设空间,但代价是优化变难——非凸、对初始化敏感、需要更多数据。原文的万能逼近定理只保证”存在”这样的网络能逼近连续函数,并不保证梯度下降一定学得到。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文在介绍激活函数前明确指出,多种线性运算组合后仍是线性运算,因此需要非线性激活函数赋予模型非线性划分能力。 - 原始内容:如果只是将多种线性运算进行组合,那么其结果还是线性运算。如果希望模型有非线性划分能力,应该怎么办呢?答案就是引入激活函数,即将每个神经元的线性组合结果送入一个非线性数激活函数中,将输出结果再作为下一层神经元的输入。