知识卡片
常用激活函数的取舍
激活函数决定”神经元被激活到什么程度”,也决定梯度回传时乘上的那个导数。常见五种,按值域与导数分两类:
| 函数 | 表达式 | 值域 | 导数 | 关键性质 |
|---|---|---|---|---|
| Sigmoid | 1/(1+e⁻ˣ) | (0,1) | σ(x)(1−σ(x)),最大 0.25 | 两端饱和、导数趋 0;输出非零中心 |
| Tanh | tanh(x) | (−1,1) | 1−tanh²(x),最大 1 | 零中心,比 Sigmoid 好训 |
| ReLU | max(x,0) | [0,+∞) | 正区间 1,负区间 0 | 不饱和、计算快、应用最广 |
| leaky-ReLU | max(kx,0) | [0,+∞) | — | 负区间保留小斜率 k,修掉 ReLU 的零梯度区间 |
| ELU | 负区间平滑饱和 | 含负值 | — | 同样为解决零区间设计 |
怎么选:
- 隐藏层默认 ReLU。正区间导数恒为 1,不会像 Sigmoid 那样层层衰减,是缓解梯度消失最直接的一招;计算只是取 max,也最快。
- 出现”神经元死亡”就换变体。ReLU 在负区间导数为 0,一旦某神经元的输入长期为负,它的梯度永远是 0、参数不再更新。leaky-ReLU 在负区间保留斜率 k(常取 0.01 或 0.02,也可学习),ELU 用平滑的负区间替代硬零。
- 序列模型仍用 Tanh/Sigmoid。原文明确:Sigmoid 如今不常用,因为梯度太容易饱和,但 RNN-LSTM 还在用;Tanh 因 ReLU 普及而不那么流行,但仍用于许多标准 RNN-LSTM 模型。原因是门控需要 (0,1) 的软开关,而 tanh 提供零中心的压缩状态。
- 不要指望激活函数单独解决所有问题。它改变的是梯度尺度,深度、初始化、优化器仍然要一起配合。
边界:ReLU 的输出无上界,学习率过大容易让部分神经元永久失活;Sigmoid/Tanh 的饱和区在深层网络中会让梯度消失,这正是下一张卡的主题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.4 几种常用激活函数 · 查看原书依据
Tanh函数因为ReLU函数的普及使用而不那么流行了,然而Tanh函数仍然用于许多标准的RNN-LSTM模型。
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文依次给出 Sigmoid、Tanh、ReLU、leaky-ReLU、ELU 的值域、导数与适用场合,并说明 ReLU 应用最广、Sigmoid 因梯度饱和而少用。
- 原始内容:Tanh函数因为ReLU函数的普及使用而不那么流行了,然而Tanh函数仍然用于许多标准的RNN-LSTM模型。……目前,ReLU 函数的应用最为广泛,还有一些基于它的变体,比如 leaky-ReLU函数和ELU函数等。