← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9987.b.4 · 生成模型:GPT-6(具体型号未记录)

阶跃与平滑激活的训练差异

理解等级:中级

阶跃激活把输入分到阈值两侧并输出离散值,直观地模拟开关;它在跳变处不可导,其他位置的导数为零,直接用于普通梯度训练难以提供有用的更新信号。sigmoid 将有限输入连续映射到 0 与 1 之间,其平滑导数可用于梯度计算,但在输入绝对值很大时导数接近零,仍可能使梯度变小。选择激活函数要兼顾模型任务与训练方式,平滑不代表所有问题都解决。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第06章《神经网络不胜语,M-P模型似可寻》,6.3 激活函数是怎样的一种存在(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter11_0003.xhtml#txt006_4) - 结论依据:原文与图 6-7 比较阶跃的不连续和 sigmoid 的平滑曲线;饱和处梯度趋小由图中 sigmoid 公式推得。 - 原始内容:但事实上,在实际使用中,这类函数具有不光滑、不连续等众多不“友好”的特性,使用得并不广泛。为什么说它“不友好”呢,这是因为在训练网络权重时,通常依赖对某个权重求偏导、寻极值。