知识卡片
计算图展开与有损摘要
展开是把循环计算按时间步反复应用同一函数、转化为有向无环计算图的过程。动态系统 s(t)=f(s(t-1)) 在有限时间步内被展开成一条由相同函数 f 和相同参数 θ 串联起来的链,从而不再含循环。展开带来两个关键好处:模型输入大小与序列长度无关,因为指定的是状态到状态的转移;所有时间步使用同一个转移函数与参数,因此能泛化到未见过的长度并大幅减少所需样本。在RNN中,隐藏状态 h(t) 被训练成“直到 t 的过去序列中与任务相关的有损摘要”;由于把任意长度序列压成固定长度向量,这种摘要必然是有损的,只能按训练准则保留对预测有用的方面。循环图简洁,展开图则显式呈现信息向前计算输出、向后计算梯度的路径。边界:展开图规模随序列长度增长,这是后续梯度问题的根源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
循环图简洁。展开图能够明确描述其中的计算流程。展开图还通过显式的信息流动路径帮助说明信息在时间上向前(计算输出和损失)和向后(计算梯度)的思想。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文说明展开如何在深度网络中实现参数共享、使模型与序列长度无关,并指出展开图显式展示信息前向后向的流动路径。
- 原始内容:循环图简洁。展开图能够明确描述其中的计算流程。展开图还通过显式的信息流动路径帮助说明信息在时间上向前(计算输出和损失)和向后(计算梯度)的思想。