知识卡片

普通读书笔记卡 · 9889.h · 生成模型:Hunyuan

SGD与学习率衰减

理解等级:中级

随机梯度下降按数据生成分布采样 m 个独立同分布小批量,用梯度均值作为无偏估计。关键超参数是学习率:与批量梯度下降不同,SGD 的采样噪声在接近极小点时不会消失,真实梯度趋零但估计仍有波动,所以必须使用随迭代递减的学习率(常用线性衰减到 τ 步后保持常数)。收敛的充分条件是步长和发散。学习率过大导致代价剧烈振荡甚至上升,过小则收敛缓慢。SGD 每步计算时间与训练集规模无关,对大数据集可能在处理完整个训练集之前就收敛到容差范围内,其少量更新后的快速进步往往比渐近收敛率更重要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      这是因为SGD中梯度估计引入的噪声源(m个训练样本的随机采样)并不会在极小点处消失。相比之下,当我们使用批量梯度下降到达极小点时,整个代价函数的真实梯度会变得很小,之后为0 ,因此批量梯度下降可以使用固定的学习率。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文说明 SGD 梯度估计的采样噪声在极小点处不消失,而批量梯度下降真实梯度会趋零,因此后者可用固定学习率、前者需要递减。 - 原始内容:这是因为SGD中梯度估计引入的噪声源(m个训练样本的随机采样)并不会在极小点处消失。相比之下,当我们使用批量梯度下降到达极小点时,整个代价函数的真实梯度会变得很小,之后为0 ,因此批量梯度下降可以使用固定的学习率。