知识卡片
小批次与随机梯度的取舍
批量梯度下降要遍历全量数据才能更新一次参数;数据大时一轮只有一次更新,太慢。小批次把数据切成 batch_size 大小的块,每块算一次梯度就更新,一轮里能更新很多次;随机梯度下降极端到每次只用一条样本。好处是更新频率高、所需轮数少——书中线性回归例子里随机梯度用更少的 epoch 就达到同样的精度。代价是单点或小批的梯度方向噪声大,可能与全量梯度方向相差很远,路径更抖。整批还有个隐性收益:可以向量化并行计算,逐点反而慢。批量大小与步长一样要靠实验确定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的梯度方向可能与整个数据集的梯度方向截然不同。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的……」
- 原始内容:基于小型小批次方法(或单个数据点)的梯度下降,可以进行更多次梯度更新,但单个点的梯度方向可能与整个数据集的梯度方向截然不同。