原书出处
机器学习基础:从入门到求职
15 第15章 深度神经网络模型 15.2.5 梯度消失与梯度爆炸
前面讲到,Sigmoid函数的导数可以表达为σ'(x)=σ(x)(1−σ(x)),而σ(x)是一个区间在(0,1)的函数,因此σ'(x)的值肯定是小于1的。但在反向传播过程中,权重系数的梯度更新会涉及很多次σ'(x)的累乘。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html
EPUB SHA-256:668cfaf149b91045c65faaefd0e0dc91c54a884540aaf29c01ca16d1743e248a