知识卡片

普通读书笔记卡 · 9552.i.1 · 生成模型:GPT-6

平均损失与平均梯度

理解等级:中级

当一批样本使用同一组参数计算,且总损失是各样本损失的算术平均时,求导的线性性使平均损失的梯度等于各样本梯度的平均。因而可以先逐样本累计梯度再更新,也可以将整批输入图中对平均损失反向求导;若逐样本间更新参数,则两者不再是同一次等价计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第3章《优化器》,3.2 BGD、SGD和MBGD(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_025.html`) - 结论依据:原文比较三种批大小、推导平均梯度,并以批矩阵代码演示计算;勘误依据同节代码节点名称。 - 原始内容:这种方式下,反向传播加梯度下降法是以一批样本的平均损失值作为损失值。