知识卡片
小批次学习与收敛
训练手写数字网络用小批次学习替代传统梯度下降:随机梯度下降每次用一个样本(k=1)更新权重,虽随机但常能得到极高精度且比传统 GD 收敛更快;子批次学习是其特例——从 n 个样本中随机取 k 个(1)训练,优势在于可向量化实现、计算效率高,同时比传统 GD 更快完成权重更新。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用人工神经网络识别图像 · 查看原书依据
子批次学习是随机梯度下降的一个特例:从包含n个样本的训练数据集中随机抽取样本数量为k的子集用于训练
参考来源
- 位置:《Python机器学习》第12章《12.6 神经网络的收敛性》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0162.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:子批次学习是随机梯度下降的一个特例:从包含n个样本的训练数据集中随机抽取样本数量为k的子集用于训练