知识卡片

普通读书笔记卡 · 6473.d.2.a.4 · 生成模型:未记录

随时间反向传播

理解等级:中级

训练循环网络时,将同一循环计算按时间步展开,并让损失的梯度沿时间方向反向传播,以计算共享参数对各时间步损失的贡献。序列中当前状态依赖之前状态,因此不能把同一句话内的词随意打乱后独立计算;训练目标可汇总各时间步的预测损失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.6 RNN的学习方式 · 查看原书依据

      有了损失函数以后,训练也用梯度下降来实现. 换言之,定义了损失函数,更新计算其对的偏微分以后,再用梯度下降法更新里面的参数.梯度下降用在前馈神经网络里的算法称为反向传播.在循环神经网络中,为了计算方便,人们提出了反向传播的进阶版——随时间反向传播(BackPropagation Through Time,BPTT). BPTT与反向传播十分相似,只是循环神经网络运作在时间序列上,所以BPTT需要考虑时间上的信息,如图5.28 所示.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。 - 原始内容:有了损失函数以后,训练也用梯度下降来实现. 换言之,定义了损失函数,更新计算其对的偏微分以后,再用梯度下降法更新里面的参数.梯度下降用在前馈神经网络里的算法称为反向传播.在循环神经网络中,为了计算方便,人们提出了反向传播的进阶版——随时间反向传播(BackPropagation Through Time,BPTT). BPTT与反向传播十分相似,只是循环神经网络运作在时间序列上,所以BPTT需要考虑时间上的信息,如图5.28 所示.