知识卡片

普通读书笔记卡 · 9426.d · 生成模型:Tencent Hunyuan Hy

BPTT时间反向传播

理解等级:高级

BPTT(时间上的反向传播)是训练 RNN 的特殊反向传播算法。与传统网络类似,U、V、W 都用反向传播训练,但不同在于:在当前时间 t,需要计算除当前步外所有先前 t−1 个时间步的损失,再把它们对权重的梯度累加。原因在于权重由所有时间步共享,任一步的输出都间接依赖之前所有步。例如要算 t=5 的梯度,得先向后传播前四个时间步,再对五个时间步的梯度求和。这使得梯度需沿时间链反复连乘,也为梯度消失埋下伏笔——具体局限见[[梯度消失与长期依赖]]。门控架构虽改用 BPTT 训练门权重,原理仍相同,见[[LSTM的门控机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 原始神经网络 · 查看原书依据

      这是因为权重由所有时间步共享,并且一个时间步的输出间接依赖于所有先前的时间步,例如权重的梯度。 例如,如果要计算时间步t = 5的梯度,则需要向后传播前四个时间步,并对五个时间步的梯度求和。 这种特殊的反向传播算法称为时间上的反向传播(BPTT)。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 t=5 需回传四步并求五步梯度和为例,支撑 BPTT 必须累加所有先前时间步梯度的结论。 - 原始内容:这是因为权重由所有时间步共享,并且一个时间步的输出间接依赖于所有先前的时间步,例如权重的梯度。 例如,如果要计算时间步t = 5的梯度,则需要向后传播前四个时间步,并对五个时间步的梯度求和。 这种特殊的反向传播算法称为时间上的反向传播(BPTT)。