知识卡片
线性因子模型的生成框架
线性因子模型把观测数据 x 的生成拆成两步:先从一个可因子化的先验 p(h)=∏p(h_i) 中抽取解释性因子 h(各维独立,易于采样),再把 h 经线性变换 W 并叠加噪声得到 x。潜变量提供表示数据的另一种方式,其作用是捕获不同观测变量之间的依赖关系;线性解码器的简单性使它成为最早被系统研究的潜变量模型。用途上,它既可作为混合模型或更大深度概率模型的组成模块,也为生成模型提供了基本构件。边界在于解码器是线性的,表达能力有限;概率PCA、因子分析、ICA、稀疏编码等成员并非新框架,而只是对噪声分布与先验 p(h) 做了不同选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 线性因子模型 · 查看原书依据
线性因子模型通过随机线性解码器函数来定义,该函数通过对 h 的线性变换以及添加噪声来生成 x 。 有趣的是,通过这些模型我们能够发现一些符合简单联合分布的解释性因子。线性解码器的简单性使得它们成为了最早被广泛研究的潜变量模型。
参考来源
- 位置:《深度学习》第13章 线性因子模型(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文说明线性因子模型由随机线性解码器定义,并描述了先从因子分布抽取 h、再在给定 h 下采样带噪观测 x 的两步生成过程,以及各成员仅在噪声与先验上不同。
- 原始内容:线性因子模型通过随机线性解码器函数来定义,该函数通过对 h 的线性变换以及添加噪声来生成 x 。 有趣的是,通过这些模型我们能够发现一些符合简单联合分布的解释性因子。线性解码器的简单性使得它们成为了最早被广泛研究的潜变量模型。