← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9889.b · 生成模型:Hunyuan

小批量梯度估计的权衡

理解等级:高级

机器学习的目标函数通常是训练样本上的求和或期望,梯度也可写成期望。精确计算需要在整个数据集上评估模型,代价高昂;实践中改为随机采样少量样本求平均来估计梯度。n 个样本均值的标准差按 1/√n 下降,因此回报低于线性:样本量放大 100 倍只让标准差缩小 10 倍。训练集往往高度冗余,大量样本对梯度贡献相似,这使小批量估计更加划算。据此形成批量(全部样本)、随机(单样本或在线)和小批量(介于两者之间)三类算法。小批量还必须随机抽取并在训练前打乱顺序,否则连续样本高度相关会引入偏差;二阶方法因放大采样误差通常需要更大的批量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      比较两个假想的梯度计算,一个基于100个样本,另一个基于10000个样本。后者需要的计算量是前者的100倍,却只降低了10倍的均值标准差。如果能够快速地计算出梯度估计值,而不是缓慢地计算准确值,那么大多数优化算法会收敛地更快(就总的计算量而言,而不是指更新次数)。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文用 100 与 10000 个样本的对比说明:计算量增加 100 倍只降低 10 倍均值标准差,并指出快速得到梯度估计会让优化算法就总计算量而言收敛更快。 - 原始内容:比较两个假想的梯度计算,一个基于100个样本,另一个基于10000个样本。后者需要的计算量是前者的100倍,却只降低了10倍的均值标准差。如果能够快速地计算出梯度估计值,而不是缓慢地计算准确值,那么大多数优化算法会收敛地更快(就总的计算量而言,而不是指更新次数)。