← 返回卡片

原书出处

深度学习

08 第8章 深度模型中的优化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.630Z

出了一些增量(或者基于小批量)的算法来自适应模型参数的学习率。这节将简要回顾其中一些算法。 8.5.1 AdaGrad

AdaGrad算法,如算法8.4所示,独立地适应所有模型参数的学习率,缩放每个参数反比于其所有梯度历史平方值总和的平方根(Duchi et al. ,2011)。具有损失最大偏导的参数相应地有一个快速下降的学习率,而具有小偏导的参数在学习率上有相对较小的下降。

净效果是在参数空间中更为平缓的倾斜方向会取得更大的进步。 在凸优化背景中,AdaGrad算法具有一些令人满意的理论性质。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0003.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639