知识卡片
阶跃与平滑激活的训练差异
阶跃激活把输入分到阈值两侧并输出离散值,直观地模拟开关;它在跳变处不可导,其他位置的导数为零,直接用于普通梯度训练难以提供有用的更新信号。sigmoid 将有限输入连续映射到 0 与 1 之间,其平滑导数可用于梯度计算,但在输入绝对值很大时导数接近零,仍可能使梯度变小。选择激活函数要兼顾模型任务与训练方式,平滑不代表所有问题都解决。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络不胜语,M-P模型似可寻 6.3 激活函数是怎样的一种存在 · 查看原书依据
这类函数具有不光滑、不连续等众多不“友好”的特性
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第06章《神经网络不胜语,M-P模型似可寻》,6.3 激活函数是怎样的一种存在(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter11_0003.xhtml#txt006_4)
- 结论依据:原文与图 6-7 比较阶跃的不连续和 sigmoid 的平滑曲线;饱和处梯度趋小由图中 sigmoid 公式推得。
- 原始内容:但事实上,在实际使用中,这类函数具有不光滑、不连续等众多不“友好”的特性,使用得并不广泛。为什么说它“不友好”呢,这是因为在训练网络权重时,通常依赖对某个权重求偏导、寻极值。