原书出处
智能算法导论
193 2 0 . 2 . 3 深 度 模 型 优 化
效果,但并不能适用于全部模型。因为该算法在训练开始时就对梯度平方进行累积,在部分实验中容易导致学习率过早和过量地减小。
RMSProp算法则是在AdaGrad基础上的一种改进,改变梯度积累为指数加权的移动平均,在非凸的情况下取得了更好的效果。
AdaGrad在应用于凸问题时可以快速收敛,而在面对非凸函数时,其学习轨迹需要穿过很多不同的结构,最终到达一个局部为凸的
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml
EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d