原书出处
大数据挖掘与统计机器学习
06 第6章 神经网络与深度学习
的误差梯度下降方向,而没有考虑以前的方向,因而容易使训练过程发生震荡,收敛缓慢。
为了减少震荡,提高网络收敛速度,可以在式(6.11)的基础上加入一个动量项: Δωji(t)=ηδjoi+αΔωji(t-1) 式中,α称为动力常数,一般有0.1<α<1; αΔωji(t-1)为动量项,反映了以前积累的调整经验。
新的权值调整规则同时考虑以前积累的经验与本次误差梯度,会使权值变化更为平滑。特别
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml
EPUB SHA-256:6f2324b41414df46227a4d0ee4cc188eb120a38a798a14be96a3d7d919028c00