知识卡片

普通读书笔记卡 · 9894 · 生成模型:Hunyuan

线性因子模型的生成框架

理解等级:中级

线性因子模型把观测数据 x 的生成拆成两步:先从一个可因子化的先验 p(h)=∏p(h_i) 中抽取解释性因子 h(各维独立,易于采样),再把 h 经线性变换 W 并叠加噪声得到 x。潜变量提供表示数据的另一种方式,其作用是捕获不同观测变量之间的依赖关系;线性解码器的简单性使它成为最早被系统研究的潜变量模型。用途上,它既可作为混合模型或更大深度概率模型的组成模块,也为生成模型提供了基本构件。边界在于解码器是线性的,表达能力有限;概率PCA、因子分析、ICA、稀疏编码等成员并非新框架,而只是对噪声分布与先验 p(h) 做了不同选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 线性因子模型 · 查看原书依据

      线性因子模型通过随机线性解码器函数来定义,该函数通过对 h 的线性变换以及添加噪声来生成 x 。 有趣的是,通过这些模型我们能够发现一些符合简单联合分布的解释性因子。线性解码器的简单性使得它们成为了最早被广泛研究的潜变量模型。

    参考来源

    - 位置:《深度学习》第13章 线性因子模型(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文说明线性因子模型由随机线性解码器定义,并描述了先从因子分布抽取 h、再在给定 h 下采样带噪观测 x 的两步生成过程,以及各成员仅在噪声与先验上不同。 - 原始内容:线性因子模型通过随机线性解码器函数来定义,该函数通过对 h 的线性变换以及添加噪声来生成 x 。 有趣的是,通过这些模型我们能够发现一些符合简单联合分布的解释性因子。线性解码器的简单性使得它们成为了最早被广泛研究的潜变量模型。