知识卡片
自适应学习率算法演进
当损失对参数空间的敏感度大致轴对齐时,为每个参数设置并自动调整学习率是自然的思路。AdaGrad 把每个参数的学习率按历史梯度平方和的平方根缩放:偏导大的参数学习率快速下降,偏导小的下降较少,从而在平缓方向走得更远;但它在深度网络中会因从训练开始就累积平方梯度而使有效学习率过早、过量减小。RMSProp 改用指数加权移动平均丢弃遥远历史,在找到局部凸碗结构后能快速收敛。Adam 进一步把动量并入梯度一阶矩估计,并对一、二阶矩做偏置修正,消除了 RMSProp 初期二阶矩的高偏置,通常对超参数选择相当鲁棒。实践中 SGD、动量 SGD、RMSProp、Adam 等没有绝对赢家,选择多取决于熟悉程度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
AdaGrad算法,如算法8.4所示,独立地适应所有模型参数的学习率,缩放每个参数反比于其所有梯度历史平方值总和的平方根(Duchi et al. ,2011)。具有损失最大偏导的参数相应地有一个快速下降的学习率,而具有小偏导的参数在学习率上有相对较小的下降。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文说明 AdaGrad 独立适应各参数学习率、按梯度历史平方和平方根缩放,并指出其有效学习率会过早和过量减小。
- 原始内容:AdaGrad算法,如算法8.4所示,独立地适应所有模型参数的学习率,缩放每个参数反比于其所有梯度历史平方值总和的平方根(Duchi et al. ,2011)。具有损失最大偏导的参数相应地有一个快速下降的学习率,而具有小偏导的参数在学习率上有相对较小的下降。