知识卡片
sigmoid隐藏单元的饱和困境
在 ReLU 流行之前,隐藏单元多采用 logistic sigmoid 或 tanh。它们与分段线性单元不同:在定义域两端广泛饱和,只在 0 附近对输入强烈敏感,饱和区梯度极小,使基于梯度的学习非常困难,因此现在不鼓励用作前馈网络的隐藏单元。必须使用时,tanh 通常优于 sigmoid,因为它在 0 附近近似单位函数,使深层网络在激活很小时近似于线性模型,训练更容易。sigmoid 在循环网络、许多概率模型和自编码器中仍然常见,因为这些场景有额外约束使它更有吸引力。关键边界:作为输出单元时,若有交叉熵之类的代价函数抵消其饱和,sigmoid 仍能与梯度学习良好配合;问题不在激活本身,而在饱和是否被损失补偿。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
与分段线性单元不同,sigmoid单元在其大部分定义域内都饱和——当z取绝对值很大的正值时,它们饱和到一个高值,当z取绝对值很大的负值时,它们饱和到一个低值,
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文指出 sigmoid/tanh 的广泛饱和性使梯度学习困难、已不推荐用作前馈网络隐藏单元,说明 tanh 近似单位函数的优势及 sigmoid 在其他场景的持续使用。
- 原始内容:与分段线性单元不同,sigmoid单元在其大部分定义域内都饱和——当z取绝对值很大的正值时,它们饱和到一个高值,当z取绝对值很大的负值时,它们饱和到一个低值,