知识卡片
树状递归神经网络
递归神经网络把循环网络的链状计算图推广为树状结构,用固定的参数集合把可变大小的序列映射为固定大小的表示。它对相同长度 τ 的序列,深度(以非线性操作的组合数量衡量)可从 τ 急剧降为 O(log τ),因此有望缓解长期依赖。树结构有多种选择:可用与数据无关的平衡二叉树;某些领域可借助外部方法,例如用自然语言语法分析树固定结构;理想情况是让学习器自行发现适合输入的树,但这仍是未解决问题。节点执行的计算也不必是传统的仿射变换加单调非线性,可用张量运算与双线性形式,更适合建模由连续向量表示的概念之间的联系。它已用于自然语言处理与计算机视觉中的结构化输入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
递归网络的一个明显优势是,对于具有相同长度τ的序列,深度(通过非线性操作的组合数量来衡量)可以急剧地从τ减小为O(logτ),这可能有助于解决长期依赖。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文明确给出递归网络把链推广为树、深度由τ降为O(logτ)的优势,并讨论树结构选择与节点计算的变体。
- 原始内容:递归网络的一个明显优势是,对于具有相同长度τ的序列,深度(通过非线性操作的组合数量来衡量)可以急剧地从τ减小为O(logτ),这可能有助于解决长期依赖。