知识卡片
动量与自适应优化器
动量保留历史更新方向,可能穿过浅平区域,也可能因过冲而振荡;Nesterov 方法在前瞻位置估计梯度。AdaGrad 累积平方梯度,长期有效步长可能持续缩小;RMSprop 用平方梯度的指数移动平均,Adam 同时估计一阶和二阶矩并作初期偏差修正。这些方法仍有学习率等超参数,应按验证结果选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 优化器 · 查看原书依据
动量梯度下降
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第19章《优化器》19.5(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0026_split_005.html`)
- 结论依据:动量梯度下降。
- 原始内容:动量梯度下降(momentum gradient descent)技术[Qian99]就是基于这个观点被提出的。