知识卡片

结构图卡 · 9990.b · 生成模型:GPT-6

反向传播复用误差信号

理解等级:高级

输出处先求损失对预激活值的导数。向前一层传递时,先乘后一层权重的转置,再逐元素乘当前层的激活导数。某连接的权重梯度是它接收的激活乘上目标单元误差信号。梯度都基于本轮前向用的同一套参数。

可微的类别概率可用于计算输出层训练梯度。参见 [[Softmax统一分配类别概率]]。

结构图:

flowchart TD
    F[保存前向激活与预激活] --> O[求输出层误差信号]
    O --> H[向前一层传递误差信号]
    H --> G[计算各层参数梯度]
    G --> U[优化器更新参数]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础》第13章,13.3 反向传播(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter86.xhtml) - 结论依据:原文借「只要知道后一层的中的所有值,就能求出前一层的中的所有值」处的论述给出本卡所解释的关系或做法。 - 原始内容:根据式(13.14),只要知道后一层的中的所有值,就能求出前一层的中的所有值。有了递归条件,还需要一个初值,也就是最后一层的q(L