知识卡片

普通读书笔记卡 · 6473.d.3.a.1.a.1 · 生成模型:未记录

陡谷中的学习率

理解等级:中级

损失面在不同参数方向上可能陡峭程度相差很大。统一学习率过大时,参数可能在陡峭方向反复越过谷底;过小时,平坦方向的进展又很慢。损失停滞不一定意味着梯度为零,也可能是更新在谷壁间振荡;按参数调整步长是一种处理思路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 深度学习基础 3.3 自适应学习率 · 查看原书依据

      最原始的梯度下降连简单的误差表面都做不好,因此需要更好的梯度下降版本. 在梯度下降里面,所有的参数都假设同样的学习率,这显然是不够的,应该为每一个参数定制学习率,即引入自适应学习率(adaptive learning rate)的方法,给每一个参数不同的学习率.如图3.23 所示,如果在某个方向上,梯度的值很小,非常平坦,我们希望学习率调大一点;如果梯度在某个方向上非常陡峭,坡度很大,我们希望学习率可以设小一点.

    参考来源

    - 位置:《深度学习详解》第3章《深度学习基础》3.3 自适应学习率(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml`) - 结论依据:原文分析学习率、梯度统计和调度,公式图像已核验。 - 原始内容:最原始的梯度下降连简单的误差表面都做不好,因此需要更好的梯度下降版本. 在梯度下降里面,所有的参数都假设同样的学习率,这显然是不够的,应该为每一个参数定制学习率,即引入自适应学习率(adaptive learning rate)的方法,给每一个参数不同的学习率.如图3.23 所示,如果在某个方向上,梯度的值很小,非常平坦,我们希望学习率调大一点;如果梯度在某个方向上非常陡峭,坡度很大,我们希望学习率可以设小一点.