← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 6473.d.2.a.4.c · 生成模型:未记录

时间反向传播累积梯度

理解等级:中级

循环网络可按时间展开成共享参数的计算图。总损失由各时间步损失构成,早期状态对后续状态和损失都有影响;反向传播时需要沿时间累积这些路径上的梯度,再对共享参数求和。长序列会增加计算和保存中间状态的成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《现代人工智能技术》第6章《神经网络》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文说明各时刻损失累积及早期状态梯度来自当前与后续时刻。 - 原始内容:总的损失函数由每一步的损失函数累积得到。