原书出处
深度学习
08 第8章 深度模型中的优化
请查看Bottou(1998)。 8.3.2 动量 虽然随机梯度下降仍然是非常受欢迎的优化方法,但其学习过程有时会很慢。
动量方法(Polyak,1964)旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。
动量的效果如图8.5所示。 从形式上看,动量算法引入了变量 ν 充当速度角色——它代表参数在参数空间移动的方向和速率。速
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0003.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639