知识卡片
随机梯度下降
批量梯度下降每走一步都要用整个数据集评估梯度,样本达数百万时计算成本极高。随机梯度下降(SGD,也叫迭代/在线梯度下降)改用单个样本逐次更新权重。与批量相比有三个特点:① 权重更新更频繁,通常收敛更快;② 梯度基于单样本、误差曲面更不平滑,反而更容易跳出小的局部最优;③ 不保证到全局最优,只是趋近,配合随训练衰减的自适应学习速率 η=c₁/(c₂+迭代数) 可更接近最优。为得到准确结果,每轮训练前要打乱数据(shuffle)防止进入循环,并可用 random_state 固定随机种子。SGD 还天然支持在线学习——新数据到来即实时更新,训练后可丢弃样本以省存储。它不保证精确收敛到全局最优,但以速度和在线能力取胜。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.3.3 大规模机器学习与随机梯度下降 · 查看原书依据
其误差曲面不及梯度下降的平滑,但这也使得随机梯度下降更容易跳出小范围的局部最优点
参考来源
- 位置:《Python机器学习》第2章《2.3.3 大规模机器学习与随机梯度下降》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0026.xhtml.xhtml)
- 结论依据:原文对比批量与SGD,说明单样本更新、收敛更快、更易跳出局部最优、需打乱数据、自适应学习速率、在线学习与不保证全局最优。
- 原始内容:其误差曲面不及梯度下降的平滑,但这也使得随机梯度下降更容易跳出小范围的局部最优点