知识卡片
小批次学习
小批次学习是介于批量梯度下降与随机梯度下降之间的折中:把训练集切成较小的批次(如每批 50 个样本),在每批上应用梯度下降更新一次权重。相比每次都用全部样本的批量梯度下降,它权重更新更频繁、收敛更快;相比逐样本的 SGD,它又能用向量化运算替代 for 循环,提高计算效率。理解要点:小批次在”更新频率”(收敛速度)与”向量化并行”(计算效率)之间取得平衡,是深度学习训练中常用的默认策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.3.3 大规模机器学习与随机梯度下降 · 查看原书依据
可以将小批次学习理解为在相对较小的训练数据子集上应用梯度下降——例如,一次使用50个样本
参考来源
- 位置:《Python机器学习》第2章《2.3.3 大规模机器学习与随机梯度下降》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0026.xhtml.xhtml)
- 结论依据:原文定义小批次学习为在较小训练集子集上应用梯度下降,指出更新更频繁收敛更快、可用向量化替代 for 循环提高效率。
- 原始内容:可以将小批次学习理解为在相对较小的训练数据子集上应用梯度下降——例如,一次使用50个样本