知识卡片
梯度下降与三种变体
梯度下降是减小损失、搜索最优权重的核心手段:它把成本函数看作权重的函数,从随机初始点出发计算梯度并沿其减小方向更新权重,直到梯度趋近于零、抵达最小值。关键超参数是学习率,过大则更新越过最小值并在附近振荡,过小则步幅太小、收敛缓慢。按每次更新所用样本范围,梯度下降分三种:批量梯度下降用整个数据集算一次梯度,方向准确但对大数据极慢,且易卡在最近的局部最小值;随机梯度下降每处理一个样本就更新,收敛快、波动大,波动反而可能跳出局部最小值;小批量梯度下降折中,把数据切成如 64 个一批,每批更新一次,兼顾效率与稳定。实现时由 [[优化器与学习率调整]] 动态调节学习率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
如果学习率太大,权重更新可能会超出最小值,这将导致最小值周围的永无止境的振荡。 如果学习率太小,该算法将采取非常小的步骤,这可能需要大量时间才能收敛到最小值。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文先给出沿梯度下行与学习率过大/过小的后果,再逐一说明批量、随机、小批量三种更新策略的样本范围与利弊,支撑该对比框架。
- 原始内容:如果学习率太大,权重更新可能会超出最小值,这将导致最小值周围的永无止境的振荡。 如果学习率太小,该算法将采取非常小的步骤,这可能需要大量时间才能收敛到最小值。