← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9635.c · 生成模型:DeepSeek-V4.1-Flash

梯度下降要求处处可微

理解等级:高级

BP 用梯度下降修正权值,而梯度存在的前提是激活函数可微,这一条把感知器与 BP 网络分开:单层感知器取阈值(阶跃)函数,输出在阈值点跳变,其余位置导数为零,误差信号无法告诉网络“往哪个方向调权值”,只能靠固定规则逐样本纠错;BP 网络改用 Sigmoid,导数可由输出直接算出(o(1-o)),误差才能沿链式法则一层层回传。代价是 Sigmoid 两端饱和、导数趋近 0,层数一多就出现后文的梯度弥散。可见激活函数不只是“非线性开关”,它同时决定了网络能否学习、学得多快。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.4 感知器) - 结论依据:原文明确指出 BP 采用梯度下降要求激活函数可微,并因此弃用阈值函数、改用 Sigmoid。 - 原始内容:BP算法通常采用梯度下降法修正权值,这要求激活函数可微。单层感知器中使用的阈值函数不可微,不适合梯度下降法。