知识卡片
平均损失与平均梯度
当一批样本使用同一组参数计算,且总损失是各样本损失的算术平均时,求导的线性性使平均损失的梯度等于各样本梯度的平均。因而可以先逐样本累计梯度再更新,也可以将整批输入图中对平均损失反向求导;若逐样本间更新参数,则两者不再是同一次等价计算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 优化器 3.2 BGD、SGD和MBGD · 查看原书依据
这种方式下,反向传播加梯度下降法是以一批样本的平均损失值作为损失值
参考来源
- 位置:《用Python实现深度学习框架》第3章《优化器》,3.2 BGD、SGD和MBGD(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_025.html`)
- 结论依据:原文比较三种批大小、推导平均梯度,并以批矩阵代码演示计算;勘误依据同节代码节点名称。
- 原始内容:这种方式下,反向传播加梯度下降法是以一批样本的平均损失值作为损失值。