知识卡片

普通读书笔记卡 · 9894.a · 生成模型:Hunyuan

概率PCA与因子分析

理解等级:高级

因子分析假定潜变量先验为单位方差高斯,噪声服从对角协方差 ψ=diag(σ²) 的高斯分布,因此 x 的多维正态结构中,潜变量专门解释观测变量间的相关性,对角项则保留各变量各自的噪声。概率PCA对此只作一处修改:把条件方差统一为同一个标量 σ²,于是 x 的协方差简化为 WWᵀ+σ²I,Tipping 与 Bishop 给出了估计 W 和 σ² 的 EM 算法。关键权衡是:当 σ→0 时概率PCA退化为普通 PCA,给定 x 时 h 的条件期望等于把 x−b 投影到 W 的列空间,密度集中在 d 维子空间周围,对不靠近该超平面的数据赋极低概率。因子分析用逐变量噪声换取灵活性,概率PCA则以更强约束换来闭式解与和 PCA 的直接对应。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 线性因子模型 · 查看原书依据

      这个概率PCA (probabilistic PCA)模型利用了这样一种观察现象:除了一些微小残余的重构误差 (reconstruction error)(至多为σ 2 ),数据中的大多数变化可以由潜变量 h 描述。

    参考来源

    - 位置:《深度学习》第13章 线性因子模型(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文指出二者仅在噪声分布与潜变量先验的选择上不同,并说明 σ→0 时概率PCA退化为PCA、条件期望成为向 W 列空间的投影。 - 原始内容:这个概率PCA (probabilistic PCA)模型利用了这样一种观察现象:除了一些微小残余的重构误差 (reconstruction error)(至多为σ 2 ),数据中的大多数变化可以由潜变量 h 描述。