知识卡片
随时间反向传播
训练循环网络时,将同一循环计算按时间步展开,并让损失的梯度沿时间方向反向传播,以计算共享参数对各时间步损失的贡献。序列中当前状态依赖之前状态,因此不能把同一句话内的词随意打乱后独立计算;训练目标可汇总各时间步的预测损失。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
有了损失函数以后,训练也用梯度下降来实现. 换言之,定义了损失函数,更新计算其对的偏微分以后,再用梯度下降法更新里面的参数.梯度下降用在前馈神经网络里的算法称为反向传播.在循环神经网络中,为了计算方便,人们提出了反向传播的进阶版——随时间反向传播(BackPropagation Through Time,BPTT). BPTT与反向传播十分相似,只是循环神经网络运作在时间序列上,所以BPTT需要考虑时间上的信息,如图5.28 所示.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.6 RNN的学习方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以序列损失、时间展开及线性重复权重例子解释训练,并介绍梯度裁剪。
- 原始内容:有了损失函数以后,训练也用梯度下降来实现. 换言之,定义了损失函数,更新计算其对的偏微分以后,再用梯度下降法更新里面的参数.梯度下降用在前馈神经网络里的算法称为反向传播.在循环神经网络中,为了计算方便,人们提出了反向传播的进阶版——随时间反向传播(BackPropagation Through Time,BPTT). BPTT与反向传播十分相似,只是循环神经网络运作在时间序列上,所以BPTT需要考虑时间上的信息,如图5.28 所示.