知识卡片
神经网络优化器原理
神经网络靠前向传播+反向传播(梯度下降)学习,优化器决定梯度下降的方向与尺度:方向由求导得到,尺度决定参数更新程度,优化器动态调节尺度直到最优点。各优化器是逐步演进的:
① SGD:把样本按 Batch Size 分批,每批随机选一个样本更新,时间复杂度远优于标准梯度下降、噪声不大时能快速收敛;缺点是有噪声使更新方向不一定对、且未单独解决局部最优。
② SGD-M(动量):引入一阶动量(梯度方向指数移动平均,β1 经验值 0.9,即最大速度约10倍于 SGD),缓解局部最优处梯度为0、以及振荡过大,但深沟壑仍可能困住。
③ AdaGrad:为每个参数独立适应学习率(反比于历史梯度均方根),对稀疏/不平衡数据友好(少见类别给较大学习率);缺点是迭代多了学习率趋0。
④ Adam:在 SGD 上加一阶+二阶动量(β1=0.9、β2=0.999),同时控步长与方向、防振荡与鞍点静止,是深度学习最常用、效果优于 SGD/SGD-M;但可能不收敛(二阶动量时大时小致后期学习率振荡)或错过全局最优(对前期特征过拟合)。
选择可参见 [[优化器选择参考]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络模型调参 6.2 怎么为神经网络选择优化器 · 查看原书依据
随机梯度下降(Stochastic Gradient Descent, SGD)为了解决标准梯度下降时间复杂度的问题,先将样本按照一定数量进行分批(Batch),每个Batch的样本数在业界通常被称为Batch Size
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/59.html;src-038)
- 结论依据:原文按 SGD→SGD-M→AdaGrad→Adam 顺序讲解各优化器公式、机制与优缺点(噪声、局部最优、稀疏适配、收敛问题),直接支撑本卡对优化器演进与权衡的讲解。
- 原始内容:随机梯度下降(Stochastic Gradient Descent, SGD)为了解决标准梯度下降时间复杂度的问题,先将样本按照一定数量进行分批(Batch),每个Batch的样本数在业界通常被称为Batch Size