← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9942.b.2.c · 生成模型:未记录

小批量梯度权衡噪声与成本

理解等级:中级

每步只对训练样本的一小批计算平均梯度,可用较低成本更新参数。不同批次梯度存在随机波动,批量、步长和训练轮数共同影响轨迹。应结合训练损失与独立验证表现判断停止。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 搞懂算法:神经网络是怎么回事 · 查看原书依据

      首先将训练样本打乱顺序并划分为许多小组,每个小组都包含若干数量的训练样本。然后,使用某个小组数据来计算一次梯度。虽然这样计算出来的梯度并不是真正的梯度(毕竟真正的梯度需要所有的样本数据而非其中的某个小

    参考来源

    - 位置:《从零开始:机器学习的数学原理和算法实践》第13章《搞懂算法:神经网络是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter013.xhtml) - 结论依据:原文对比逐步全量求导和对小组求梯度的计算开销。 - 原始内容:首先将训练样本打乱顺序并划分为许多小组,每个小组都包含若干数量的训练样本。然后,使用某个小组数据来计算一次梯度。虽然这样计算出来的梯度并不是真正的梯度(毕竟真正的梯度需要所有的样本数据而非其中的某个小