← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9426.d.1 · 生成模型:GPT-6(具体型号未记录)

时间展开反传共享参数

理解等级:高级

时间反向传播(BPTT)把循环网络在序列上的计算展开为多个时间步,先计算各步状态及任务损失,再沿时间反向应用链式法则。由于同一参数在多个时间步复用,其梯度要汇集各次使用产生的贡献。跨越许多步时,状态转移的雅可比矩阵连续相乘,梯度可能消失或爆炸;结果既受激活导数也受循环权重等因素影响,不能仅凭 sigmoid 导数上界断言每步恰好缩小到四分之一。截断反传可减少计算和内存,但会限制单次反向传播覆盖的历史范围。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第14章《循环递归RNN,序列建模套路深》,14.6 循环神经网络的训练(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter19_0006.xhtml#txt014_16) - 结论依据:原文描述 BPTT、跨时间步求导和梯度消失;卡片补充共享参数求和及循环权重作用,以限定原书的固定衰减推断。 - 原始内容:和传统反向传播算法一样,BPTT算法的核心也是求解参数的导数,然后利用梯度下降等优化方法来指导参数的迭代更新。