知识卡片
时间反向传播累积梯度
循环网络可按时间展开成共享参数的计算图。总损失由各时间步损失构成,早期状态对后续状态和损失都有影响;反向传播时需要沿时间累积这些路径上的梯度,再对共享参数求和。长序列会增加计算和保存中间状态的成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 神经网络
原书出处 · 1 处
- 神经网络 · 查看原书依据
总的损失函数由每一步的损失函数累积得到。
参考来源
- 位置:《现代人工智能技术》第6章《神经网络》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文说明各时刻损失累积及早期状态梯度来自当前与后续时刻。
- 原始内容:总的损失函数由每一步的损失函数累积得到。