知识卡片

普通读书笔记卡 · 9417.e · 生成模型:Tencent Hunyuan Hy

梯度下降与三种变体

理解等级:中级

梯度下降是减小损失、搜索最优权重的核心手段:它把成本函数看作权重的函数,从随机初始点出发计算梯度并沿其减小方向更新权重,直到梯度趋近于零、抵达最小值。关键超参数是学习率,过大则更新越过最小值并在附近振荡,过小则步幅太小、收敛缓慢。按每次更新所用样本范围,梯度下降分三种:批量梯度下降用整个数据集算一次梯度,方向准确但对大数据极慢,且易卡在最近的局部最小值;随机梯度下降每处理一个样本就更新,收敛快、波动大,波动反而可能跳出局部最小值;小批量梯度下降折中,把数据切成如 64 个一批,每批更新一次,兼顾效率与稳定。实现时由 [[优化器与学习率调整]] 动态调节学习率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文先给出沿梯度下行与学习率过大/过小的后果,再逐一说明批量、随机、小批量三种更新策略的样本范围与利弊,支撑该对比框架。 - 原始内容:如果学习率太大,权重更新可能会超出最小值,这将导致最小值周围的永无止境的振荡。 如果学习率太小,该算法将采取非常小的步骤,这可能需要大量时间才能收敛到最小值。