知识卡片

普通读书笔记卡 · 9891.g · 生成模型:Hunyuan

树状递归神经网络

理解等级:中级

递归神经网络把循环网络的链状计算图推广为树状结构,用固定的参数集合把可变大小的序列映射为固定大小的表示。它对相同长度 τ 的序列,深度(以非线性操作的组合数量衡量)可从 τ 急剧降为 O(log τ),因此有望缓解长期依赖。树结构有多种选择:可用与数据无关的平衡二叉树;某些领域可借助外部方法,例如用自然语言语法分析树固定结构;理想情况是让学习器自行发现适合输入的树,但这仍是未解决问题。节点执行的计算也不必是传统的仿射变换加单调非线性,可用张量运算与双线性形式,更适合建模由连续向量表示的概念之间的联系。它已用于自然语言处理与计算机视觉中的结构化输入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文明确给出递归网络把链推广为树、深度由τ降为O(logτ)的优势,并讨论树结构选择与节点计算的变体。 - 原始内容:递归网络的一个明显优势是,对于具有相同长度τ的序列,深度(通过非线性操作的组合数量来衡量)可以急剧地从τ减小为O(logτ),这可能有助于解决长期依赖。