知识卡片
激活函数改变梯度流
Sigmoid 连续输出 (0,1),tanh 输出 (−1,1),两者在远离零时饱和,梯度变小。ReLU 输出 max(0,x),正半轴梯度为1,负半轴为0。选择激活时应同时关注表示范围和梯度能否通过。
[[神经元把加权和再变换]]。激活函数的导数影响单元梯度能否传递。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 10.2.2 神经网络分类算法的数学解析 · 查看原书依据
ReLu函数无论是表达形式还是计算都非常简单,以0作为重要的分界点。当x>0时,ReLu函数的值为x本身,是典型的线性函数,在其他情况下ReLu函数的值恒等于0。这也是将ReLu称为线性整流函数的原因。
参考来源
- 位置:《机器学习算法的数学解析与Python实现》10.2.2 神经网络分类算法的数学解析(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00110.html`)
- 结论依据:本节给出 tanh 和 ReLU 的函数形式,配合前节对照梯度性质。
- 原始内容:ReLu函数无论是表达形式还是计算都非常简单,以0作为重要的分界点。当x>0时,ReLu函数的值为x本身,是典型的线性函数,在其他情况下ReLu函数的值恒等于0。这也是将ReLu称为线性整流函数的原因。