知识卡片
小批量估计训练梯度
小批量训练在同一组参数上计算多个样本的损失及其梯度,再将梯度求平均或按明确约定求和,执行一次参数更新。它兼顾硬件并行与梯度噪声,批量大小影响内存、吞吐和优化行为;对非线性网络不能简单先平均每个神经元的 delta 再乘平均输入来替代每样本权重梯度的平均。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 反向传播 · 查看原书依据
我们可以将这批样本分解成更小的
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第18章《反向传播》18.12(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0025_split_012.html`)
- 结论依据:我们可以将这批样本分解成更小的。
- 原始内容:我们可以将这批样本分解成更小的小批量样本。通常小批量的大小的选择需要匹配我们可用的并行硬件。例如,如果硬件(如GPU)可以同时评估16个样本,那么小批量的大小将是16。