知识卡片
小批量梯度权衡噪声与成本
每步只对训练样本的一小批计算平均梯度,可用较低成本更新参数。不同批次梯度存在随机波动,批量、步长和训练轮数共同影响轨迹。应结合训练损失与独立验证表现判断停止。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 搞懂算法:神经网络是怎么回事 · 查看原书依据
首先将训练样本打乱顺序并划分为许多小组,每个小组都包含若干数量的训练样本。然后,使用某个小组数据来计算一次梯度。虽然这样计算出来的梯度并不是真正的梯度(毕竟真正的梯度需要所有的样本数据而非其中的某个小
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第13章《搞懂算法:神经网络是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter013.xhtml)
- 结论依据:原文对比逐步全量求导和对小组求梯度的计算开销。
- 原始内容:首先将训练样本打乱顺序并划分为许多小组,每个小组都包含若干数量的训练样本。然后,使用某个小组数据来计算一次梯度。虽然这样计算出来的梯度并不是真正的梯度(毕竟真正的梯度需要所有的样本数据而非其中的某个小