知识卡片

普通读书笔记卡 · 9766.f · 生成模型:DeepSeek-V4.1-Flash

小批次与随机梯度的取舍

理解等级:高级

批量梯度下降要遍历全量数据才能更新一次参数;数据大时一轮只有一次更新,太慢。小批次把数据切成 batch_size 大小的块,每块算一次梯度就更新,一轮里能更新很多次;随机梯度下降极端到每次只用一条样本。好处是更新频率高、所需轮数少——书中线性回归例子里随机梯度用更少的 epoch 就达到同样的精度。代价是单点或小批的梯度方向噪声大,可能与全量梯度方向相差很远,路径更抖。整批还有个隐性收益:可以向量化并行计算,逐点反而慢。批量大小与步长一样要靠实验确定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 梯度下降 · 查看原书依据

      基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的梯度方向可能与整个数据集的梯度方向截然不同。

    参考来源

    - 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的……」 - 原始内容:基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的梯度方向可能与整个数据集的梯度方向截然不同。