← 返回卡片

原书出处

深度学习

05 第5章 机器学习基础

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.627Z

,梯度下降需要计算 这个运算的计算代价是O(m)。随着训练集规模增长为数十亿的样本,计算一步梯度也会消耗相当长的时间。

随机梯度下降的核心是,梯度是期望。期望可使用小规模的样本近似估计。具体而言,在算法的每一步,我们从训练集中均匀抽出一小批量 (minibatch)样本 。小批量的数目m'通常是一个相对较小的数,从一到几百。

重要的是,当训练集大小m增长时,m'通常是固定的。我们可能在拟合几十亿的样本时,每次更新计算只用到几百个样本。 梯度的估

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0001_split_001.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639