知识卡片

普通读书笔记卡 · 9414.f · 生成模型:Tencent Hunyuan Hy

小批次学习与收敛

理解等级:中级

训练手写数字网络用小批次学习替代传统梯度下降:随机梯度下降每次用一个样本(k=1)更新权重,虽随机但常能得到极高精度且比传统 GD 收敛更快;子批次学习是其特例——从 n 个样本中随机取 k 个(1)训练,优势在于可向量化实现、计算效率高,同时比传统 GD 更快完成权重更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第12章《12.6 神经网络的收敛性》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0162.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:子批次学习是随机梯度下降的一个特例:从包含n个样本的训练数据集中随机抽取样本数量为k的子集用于训练