← 返回卡片

原书出处

智能算法导论

193 2 0 . 2 . 3 深 度 模 型 优 化

核验版本的摘录快照 · 导入于 2026-10-23T08:14:02.896Z

率。该算法的过程如算法20-2所示。 AdaGrad算法在某些深度学习模型上能获得很不错的效果,但并不能适用于全部模型。

因为该算法在训练开始时就对梯度平方进行累积,在部分实验中容易导致学习率过早和过量地减小。 RMSProp算法则是在AdaGrad基础上的一种改进,改变梯度积累为指数加权的移动平均,在非凸的情况下取得了更好的效果。

AdaGrad在应用于凸问题时可以快速收敛,而在面对非凸函数时,其学习轨迹需要穿过很多不同的结构,最终到达一个局部为凸的

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml

EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d