← 返回卡片

原书出处

深度学习详解

03 深度学习基础 3.3 自适应学习率

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.556Z

最原始的梯度下降连简单的误差表面都做不好,因此需要更好的梯度下降版本. 在梯度下降里面,所有的参数都假设同样的学习率,这显然是不够的,应该为每一个参数定制学习率,即引入自适应学习率(adaptive learning rate)的方法,给每一个参数不同的学习率.如图3.23 所示,如果在某个方向上,梯度的值很小,非常平坦,我们希望学习率调大一点;如果梯度在某个方向上非常陡峭,坡度很大,我们希望学习率可以设小一点.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc