知识卡片
反向传播复用误差信号
输出处先求损失对预激活值的导数。向前一层传递时,先乘后一层权重的转置,再逐元素乘当前层的激活导数。某连接的权重梯度是它接收的激活乘上目标单元误差信号。梯度都基于本轮前向用的同一套参数。
可微的类别概率可用于计算输出层训练梯度。参见 [[Softmax统一分配类别概率]]。
结构图:
flowchart TD
F[保存前向激活与预激活] --> O[求输出层误差信号]
O --> H[向前一层传递误差信号]
H --> G[计算各层参数梯度]
G --> U[优化器更新参数]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 反向传播神经网络 链式法则递推各层梯度 · 查看原书依据
根据式(13.14),只要知道后一层的中的所有值,就能求出前一层的中的所有值。有了递归条件,还需要一个初值,也就是最后一层的q(L
参考来源
- 位置:《机器学习基础》第13章,13.3 反向传播(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter86.xhtml)
- 结论依据:原文借「只要知道后一层的中的所有值,就能求出前一层的中的所有值」处的论述给出本卡所解释的关系或做法。
- 原始内容:根据式(13.14),只要知道后一层的中的所有值,就能求出前一层的中的所有值。有了递归条件,还需要一个初值,也就是最后一层的q(L