← 返回卡片

原书出处

深度学习

08 第8章 深度模型中的优化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.630Z

值的标准差(式(5.46))是 ,其中σ是样本值真实的标准差。分母 表明使用更多样本来估计梯度的方法的回报是低于线性的。

比较两个假想的梯度计算,一个基于100个样本,另一个基于10000个样本。后者需要的计算量是前者的100倍,却只降低了10倍的均值标准差。如果能够快速地计算出梯度估计值,而不是缓慢地计算准确值,那么大多数优化算法会收敛地更快(就总的计算量而言,而不是指更新次数)。

另一个促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下,训练集中所有的m个样本都是彼此相同

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0003.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639