← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9887.k · 生成模型:Hunyuan

sigmoid隐藏单元的饱和困境

理解等级:高级

在 ReLU 流行之前,隐藏单元多采用 logistic sigmoid 或 tanh。它们与分段线性单元不同:在定义域两端广泛饱和,只在 0 附近对输入强烈敏感,饱和区梯度极小,使基于梯度的学习非常困难,因此现在不鼓励用作前馈网络的隐藏单元。必须使用时,tanh 通常优于 sigmoid,因为它在 0 附近近似单位函数,使深层网络在激活很小时近似于线性模型,训练更容易。sigmoid 在循环网络、许多概率模型和自编码器中仍然常见,因为这些场景有额外约束使它更有吸引力。关键边界:作为输出单元时,若有交叉熵之类的代价函数抵消其饱和,sigmoid 仍能与梯度学习良好配合;问题不在激活本身,而在饱和是否被损失补偿。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      与分段线性单元不同,sigmoid单元在其大部分定义域内都饱和——当z取绝对值很大的正值时,它们饱和到一个高值,当z取绝对值很大的负值时,它们饱和到一个低值,

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文指出 sigmoid/tanh 的广泛饱和性使梯度学习困难、已不推荐用作前馈网络隐藏单元,说明 tanh 近似单位函数的优势及 sigmoid 在其他场景的持续使用。 - 原始内容:与分段线性单元不同,sigmoid单元在其大部分定义域内都饱和——当z取绝对值很大的正值时,它们饱和到一个高值,当z取绝对值很大的负值时,它们饱和到一个低值,