原书出处
深度学习详解
03 深度学习基础 3.3.2 RMSProp
同一个参数需要的学习率也会随着时间而改变.在图3.25 所示的误差表面上,如果考虑横轴方向,绿色箭头处坡度比较陡峭,需要较小的学习率,但是走到红色箭头处,坡度变得平坦起来,需要较大的学习率.因此,即便对于同一个参数的同一方向,学习率也是需要动态调整的,于是就有了一个新的自适应学习率方法——RMSprop(Root Mean Squared propagation).
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc