知识卡片
BPTT求解RNN参数
RNN 本质是神经网络,求解就是确定 U、V、W 三个参数。W 和 U 的求解要用历史时刻数据,V 只看当前时刻,相对简单。
首先要定义损失函数 L:每个隐藏层都有损失,把所有时刻造成的损失加起来得到最终损失,再按每个单元的总输出与目标输出的误差,从最终输出反向逐层回归,用偏导调整各单元权重。
普通 BP 只考虑层级关系,没考虑层级间纵向传播与时间上的横向传播,因此需要改造。时间序列反向传播(BPTT)继承 BP 的核心——沿负梯度方向找更优点直至收敛——针对时间序列做特殊改造,求解仍用梯度下降。展开 RNN 后,横向箭头是时序联系,竖向箭头是空间(普通前向)传播。BPTT 可总结为三步:①前向计算每个神经元输出;②反向计算误差项,把第 l 层 t 时刻误差沿两方向传播(传向上一层只与 U 有关,沿时间线传向初始时刻只与 W 有关);③计算各权重梯度,用随机梯度下降更新。
边界:本文未展开第三步的具体计算。迁移启发:当模型含“时间维”,反向传播要额外沿时间展开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.3.1 引入BPTT求解RNN · 查看原书依据
时间序列反向传播(Back-Propagation Through Time,BPTT)算法是我们最常用的模型训练算法,这个算法继承了BP反向传播算法的特点,只是针对时间序列数据做了特殊的改造。BPTT算法的核心思想与BP算法相同,沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文定义总损失、对比 BP 的不足并给出 BPTT 三步骤,支撑“BPTT 是带时间维的 BP、用梯度下降求 U/V/W”的结论。
- 原始内容:时间序列反向传播(Back-Propagation Through Time,BPTT)算法是我们最常用的模型训练算法,这个算法继承了BP反向传播算法的特点,只是针对时间序列数据做了特殊的改造。BPTT算法的核心思想与BP算法相同,沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。