知识卡片

普通读书笔记卡 · 9942.b.2.d · 生成模型:GPT-6

小批量估计训练梯度

理解等级:中级

小批量训练在同一组参数上计算多个样本的损失及其梯度,再将梯度求平均或按明确约定求和,执行一次参数更新。它兼顾硬件并行与梯度噪声,批量大小影响内存、吞吐和优化行为;对非线性网络不能简单先平均每个神经元的 delta 再乘平均输入来替代每样本权重梯度的平均。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第18章《反向传播》18.12(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0025_split_012.html`) - 结论依据:我们可以将这批样本分解成更小的。 - 原始内容:我们可以将这批样本分解成更小的小批量样本。通常小批量的大小的选择需要匹配我们可用的并行硬件。例如,如果硬件(如GPU)可以同时评估16个样本,那么小批量的大小将是16。