← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9635.b · 生成模型:DeepSeek-V4.1-Flash

激活函数的三类形态

理解等级:中级

激活函数决定加权和如何变成输出。常见三类:(1)阈值函数,输出只取二值(1/0 或 +1/-1),阶跃函数与符号函数属此类,用来模拟“兴奋—抑制”,采用它的神经元称为 McCulloch-Pitts 模型或 M-P 模型;(2)分段线性函数,自变量与函数值在一定区间内满足线性关系,因此函数呈分段线性形式,另有对称型分段线性函数;(3)Sigmoid 函数,S 形曲线,兼有非线性、单调性与可微性,在线性与非线性之间较平衡,是对数 S 型函数中参数 a 控制曲线倾斜程度,其函数值与一阶导数都连续可微,处理方便,因而是神经网络中最常用的激活函数(双曲正切函数是另一常用形式)。选哪一种取决于输出要表达什么,以及是否需要用梯度学习。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.1 人工神经元的模型) - 结论依据:原文按阈值函数、分段线性函数、Sigmoid 函数三类逐一给出形状与性质,并点明不同激活函数构成不同神经元模型。 - 原始内容:这是最简单的激活函数,其输出状态取二值(1与0,或+1与-1),用来简单模拟生物神经元“兴奋—抑制”的二值状态。