知识卡片
平滑激活函数为求导
阶跃函数在 0 处跳变、其余处导数恒为 0,梯度下降拿不到“该往哪边调权重”的信息,训练无从开始。sigmoid 把实数压进 (0, 1) 且处处可导,形状上就是阶跃函数的平滑版本,于是“要训练就得用微积分,用微积分就得有平滑函数”这条链条成立。选它还有一个实现上的便利:导数可以只用输出表示,即 s*(1-s),反向时把前向的输出存下来就能算,不必重新求指数。同一个式子在讲概率时被叫作 logistic 函数,二者指一个东西。代价是平滑:输出永远达不到 0 或 1,只能把权重放大到几十的量级去逼近,而大权重正是后续梯度消失的隐患。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 神经网络 · 查看原书依据
为什么使用 sigmoid 代替更简单的 step_function 函数呢?这是因为要训练神经网络,就要使用微积分,而要使用微积分,就需要平滑函数。step_function 不是连续的,但 sigmoid 函数是它的一个非常好的平滑近似函数。
参考来源
- 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「为什么使用 sigmoid 代替更简单的 step_function 函数呢……」
- 原始内容:为什么使用 sigmoid 代替更简单的 step_function 函数呢?这是因为要训练神经网络,就要使用微积分,而要使用微积分,就需要平滑函数。step_function 不是连续的,但 sigmoid 函数是它的一个非常好的平滑近似函数。