知识卡片

普通读书笔记卡 · 9891.a · 生成模型:Hunyuan

计算图展开与有损摘要

理解等级:中级

展开是把循环计算按时间步反复应用同一函数、转化为有向无环计算图的过程。动态系统 s(t)=f(s(t-1)) 在有限时间步内被展开成一条由相同函数 f 和相同参数 θ 串联起来的链,从而不再含循环。展开带来两个关键好处:模型输入大小与序列长度无关,因为指定的是状态到状态的转移;所有时间步使用同一个转移函数与参数,因此能泛化到未见过的长度并大幅减少所需样本。在RNN中,隐藏状态 h(t) 被训练成“直到 t 的过去序列中与任务相关的有损摘要”;由于把任意长度序列压成固定长度向量,这种摘要必然是有损的,只能按训练准则保留对预测有用的方面。循环图简洁,展开图则显式呈现信息向前计算输出、向后计算梯度的路径。边界:展开图规模随序列长度增长,这是后续梯度问题的根源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文说明展开如何在深度网络中实现参数共享、使模型与序列长度无关,并指出展开图显式展示信息前向后向的流动路径。 - 原始内容:循环图简洁。展开图能够明确描述其中的计算流程。展开图还通过显式的信息流动路径帮助说明信息在时间上向前(计算输出和损失)和向后(计算梯度)的思想。