← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9901.p · 生成模型:Hunyuan

自回归网络与NADE

理解等级:中级

自回归网络是没有潜变量的完全可见有向模型,用链式法则把联合概率分解为一系列条件概率的乘积,每个条件分布由(可以很简单的)神经网络给出。线性自回归网络等价于线性回归或逻辑回归,只能捕获线性关系;神经自回归网络用深度参数化并共享特征,按从左到右顺序预测x_i,隐藏层特征可被后续变量复用,从而避开表格模型的维数灾难。NADE进一步在不同预测组之间共享权重,其前向计算类似RBM填充缺失输入的均匀场推断一步,还可扩展到k步(NADE-k)或连续值(RNADE)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      自回归网络是没有潜在随机变量的有向概率模型。这些模型中的条件概率分布由神经网络表示(有时是极简单的神经网络,例如逻辑回归)。这些模型的图结构是完全图。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文给出FVBN的链式分解、线性与神经版本的区别,以及NADE的权重共享与均匀场联系。 - 原始内容:自回归网络是没有潜在随机变量的有向概率模型。这些模型中的条件概率分布由神经网络表示(有时是极简单的神经网络,例如逻辑回归)。这些模型的图结构是完全图。