知识卡片
BPTT时间反向传播
BPTT(时间上的反向传播)是训练 RNN 的特殊反向传播算法。与传统网络类似,U、V、W 都用反向传播训练,但不同在于:在当前时间 t,需要计算除当前步外所有先前 t−1 个时间步的损失,再把它们对权重的梯度累加。原因在于权重由所有时间步共享,任一步的输出都间接依赖之前所有步。例如要算 t=5 的梯度,得先向后传播前四个时间步,再对五个时间步的梯度求和。这使得梯度需沿时间链反复连乘,也为梯度消失埋下伏笔——具体局限见[[梯度消失与长期依赖]]。门控架构虽改用 BPTT 训练门权重,原理仍相同,见[[LSTM的门控机制]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 原始神经网络 · 查看原书依据
这是因为权重由所有时间步共享,并且一个时间步的输出间接依赖于所有先前的时间步,例如权重的梯度。 例如,如果要计算时间步t = 5的梯度,则需要向后传播前四个时间步,并对五个时间步的梯度求和。 这种特殊的反向传播算法称为时间上的反向传播(BPTT)。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以 t=5 需回传四步并求五步梯度和为例,支撑 BPTT 必须累加所有先前时间步梯度的结论。
- 原始内容:这是因为权重由所有时间步共享,并且一个时间步的输出间接依赖于所有先前的时间步,例如权重的梯度。 例如,如果要计算时间步t = 5的梯度,则需要向后传播前四个时间步,并对五个时间步的梯度求和。 这种特殊的反向传播算法称为时间上的反向传播(BPTT)。