知识卡片
LDA从类分布反推后验
LDA 是生成式思路:不直接对 Pr(Y=k|X=x) 建模,而是先估计每个类别内部 X 的分布 fk(x) 与先验 πk(各类占比,πk=nk/n),再用贝叶斯定理 Pr(Y=k|X)=πk fk(x)/∑l πl fl(x) 反推后验。假定各类 X 服从多元正态 N(μk,Σk),且 Σk 全等于共同协方差 Σ,则两类对数比中的二次项 xᵀΣ⁻¹x 与常数项相互抵消,只剩 x 的线性函数,故任意两类的边界是超平面,K 类把空间切成 K 个由超平面分隔的区域。等价判别函数为 δk(x)=xᵀΣ⁻¹μk−½μkᵀΣ⁻¹μk+log πk,取最大者。实际用类均值估 μk、类内合并协方差估 Σ;共同协方差让样本少的类借用其他类的方差信息,估计更稳。
结构图:
flowchart LR
A["先验概率 πk"] --> C["贝叶斯定理"]
B["类条件密度 fk(x) 服从 N(μk,Σ)"] --> C
C --> D["后验 Pr(Y=k|X=x)"]
D --> E["判别函数 δk(x)"]
E --> F["线性边界即超平面"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
Logistic回归直接对Pr(Y=k|X=x)进行建模,用统计术语来讲,是估计给定X之后的Y的条件分布。现在我们介绍一种不那么直接估计这个概率的方法。在这里,我们对给定Y后每一类别的X 的分布进行估计,然后使用贝叶斯定理估计Pr(Y=k|X=x)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0003.xhtml,3.3.1 线性判别方法)
- 结论依据:原文把该方法概括为先估各类 X 的分布再用贝叶斯定理估后验,假定多元正态且协方差相同后指出两类的对数比为 X 的线性函数,边界为超平面,并给出等价判别函数。
- 原始内容:Logistic回归直接对Pr(Y=k|X=x)进行建模,用统计术语来讲,是估计给定X之后的Y的条件分布。现在我们介绍一种不那么直接估计这个概率的方法。在这里,我们对给定Y后每一类别的X 的分布进行估计,然后使用贝叶斯定理估计Pr(Y=k|X=x)。