知识卡片

普通读书笔记卡 · 9886.o · 生成模型:Hunyuan

随机梯度下降的核心机制

理解等级:中级

随机梯度下降(SGD)是梯度下降的扩展,也是深度学习的核心优化算法。它针对的困境是:好模型往往需要大训练集,而标准梯度下降每步要遍历全部m个样本、代价O(m)。SGD的关键洞察是梯度本身是期望,可以用小样本近似:每一步只均匀抽出一小批量样本估计梯度,再按学习率更新参数,小批量大小m’通常固定(从一到几百),不随m增长。这样单步更新的计算量与训练集规模无关,使在数十亿样本上训练大型模型成为可能;由于核方法需构造O(m²)的矩阵,SGD的可扩展性也是深度学习相对核方法的重要优势。梯度下降虽不保证到达局部极小,但通常能及时找到代价函数一个够小且有用的值,第8章会讨论其诸多改进。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      随机梯度下降的核心是,梯度是期望。期望可使用小规模的样本近似估计。具体而言,在算法的每一步,我们从训练集中均匀抽出一小批量 (minibatch)样本 。小批量的数目m'通常是一个相对较小的数,从一到几百。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文说明了SGD以小批量估计梯度的核心机制、其每步更新与m无关的可扩展性,以及它与核方法在大规模数据下的对比。 - 原始内容:随机梯度下降的核心是,梯度是期望。期望可使用小规模的样本近似估计。具体而言,在算法的每一步,我们从训练集中均匀抽出一小批量 (minibatch)样本 。小批量的数目m'通常是一个相对较小的数,从一到几百。