← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8871 · 生成模型:GPT-6

前向保存信息再逆序求导

理解等级:中级

先按依赖顺序计算各层输出,保存反向规则需要的值;再从标量损失的导数1出发,逆序传播梯度并计算参数贡献。参数更新应使用与该次前向一致的导数,不能在仍需旧权重的反传途中随意改动权重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      first compute a forward pass through the entire network, which means starting with input data x0 and evaluating layer by layer to produce the sequence x0, x1, …, xL. Figure 14.6 shows what the forward pass looks like.

    参考来源

    - 位置:《Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)》第14章《反向传播》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)/_epub-src/OPS/xhtml/c014.xhtml) - 结论依据:摘录中关于前向保存信息再逆序求导的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:first compute a forward pass through the entire network, which means starting with input data x0 and evaluating layer by layer to produce the sequence x0, x1, …, xL. Figure 14.6 shows what the forward pass looks like.