知识卡片

普通读书笔记卡 · 9891.d · 生成模型:Hunyuan

RNN的有向图模型解释

理解等级:高级

RNN可用链式法则把序列的联合分布分解成一系列单步条件概率的乘积,从而被看作一个有向图模型。若把隐藏单元 h(t) 也纳入图中,它就成为过去与未来之间的中介:遥远过去的 y(i) 可通过对 h 的影响作用于当前 y(t),使两个变量解耦。这种参数化极为高效——表格法表示 k 值、长度 τ 的序列需要随 τ 指数增长的参数,而RNN靠参数共享只需与序列长度基本无关的少量参数,却等价于能表达任意两变量直接联系的全连接图模型。其前提是平稳性假设:给定当前变量后,下一变量的条件分布不随时间 t 改变。采样时还需确定序列长度,可用序列结束符、 Bernoulli 停止输出,或直接预测长度 τ。边界:即使参数化高效,预测序列中缺失值等操作仍计算困难。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文把RNN解释为完全图模型,并用与表格表示法的参数量对比说明引入隐藏单元带来的高效参数化,同时讨论平稳性与采样。 - 原始内容:解释RNN作为图模型的一种方法是将RNN视为定义一个结构为完全图的图模型,且能够表示任何一对y值之间的直接联系。图10.7是关于y值且具有完全图结构的图模型。