知识卡片

普通读书笔记卡 · 10058.c · 生成模型:GPT-6(具体型号未记录)

循环状态汇集历史与当前输入

理解等级:中级

循环神经网络在每个时间步以当前输入 xₜ 和上一状态 hₜ₋₁ 计算新状态,例如 hₜ=φ(Wₓxₜ+Wₕhₜ₋₁+b),再由状态产生输出。初始状态可以设为零或由模型指定,跨时间步通常共享同一组参数。展开图把循环画成时间上的连续计算,使当前结果能够依赖先前输入;但有限状态和训练中的梯度问题使其不能保证保存任意长的历史。RNN 是一种序列建模方式,卷积和其他前馈结构也可以设计为处理序列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第14章《循环递归RNN,序列建模套路深》,14.4(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter19_0004.xhtml#txt014_10) - 结论依据:原文图 14-6、14-7 将当前输入与前一状态连到本时刻,公式示例使用通用矩阵记法。 - 原始内容:第t时刻的记忆信息,是由前(t-1)个时间步累计而成的结果