知识卡片
随机梯度下降的核心机制
随机梯度下降(SGD)是梯度下降的扩展,也是深度学习的核心优化算法。它针对的困境是:好模型往往需要大训练集,而标准梯度下降每步要遍历全部m个样本、代价O(m)。SGD的关键洞察是梯度本身是期望,可以用小样本近似:每一步只均匀抽出一小批量样本估计梯度,再按学习率更新参数,小批量大小m’通常固定(从一到几百),不随m增长。这样单步更新的计算量与训练集规模无关,使在数十亿样本上训练大型模型成为可能;由于核方法需构造O(m²)的矩阵,SGD的可扩展性也是深度学习相对核方法的重要优势。梯度下降虽不保证到达局部极小,但通常能及时找到代价函数一个够小且有用的值,第8章会讨论其诸多改进。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
随机梯度下降的核心是,梯度是期望。期望可使用小规模的样本近似估计。具体而言,在算法的每一步,我们从训练集中均匀抽出一小批量 (minibatch)样本 。小批量的数目m'通常是一个相对较小的数,从一到几百。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文说明了SGD以小批量估计梯度的核心机制、其每步更新与m无关的可扩展性,以及它与核方法在大规模数据下的对比。
- 原始内容:随机梯度下降的核心是,梯度是期望。期望可使用小规模的样本近似估计。具体而言,在算法的每一步,我们从训练集中均匀抽出一小批量 (minibatch)样本 。小批量的数目m'通常是一个相对较小的数,从一到几百。