知识卡片
LDA 归结为一个瑞利熵
把”类内小、类间大”写成可优化的式子,需要两个矩阵。
设第 k 类样本均值向量为 μ_k、样本数为 N_k,全部样本均值为 μ,投影矩阵为 W,投影后类均值为 a_k = Wᵀμ_k。则:
- 类内散度矩阵 S_w = Σk Σ{x∈C_k} (x − μ_k)(x − μ_k)ᵀ,刻画各类内部散开多少;
- 类间散度矩阵 S_b = Σ_k N_k (μ_k − μ)(μ_k − μ)ᵀ,刻画各类中心离总体中心多远。
投影后的散度变成 WᵀS_wW 与 WᵀS_bW,于是优化目标就是让二者的比值最大:
J(W) = WᵀS_bW / WᵀS_wW
二分类时 W 退化为一个方向向量 w,J(w) 就是标准的广义瑞利熵。瑞利熵的性质直接给出答案:J(w) 的最大值等于矩阵 S_w⁻¹S_b 的最大特征值,取到最大值时的 w 就是该特征值对应的特征向量。进一步利用 S_b = (μ₂−μ₁)(μ₂−μ₁)ᵀ(二分类时它只有一维有效方向),可推出
w ∝ S_w⁻¹(μ₂ − μ₁)
也就是说,最佳投影方向只由两类的均值和类内散布决定——这就是 Fisher 判别”用均值和方差定方向”的由来。
多分类时 W 是矩阵,WᵀS_bW 与 WᵀS_wW 都是矩阵而非标量,比值无从定义。原文的处理办法是取对角线元素之积构造标量,把问题化成与二分类同构的瑞利熵形式,最终答案仍是:对 S_w⁻¹S_b 做特征分解,取最大的 N′ 个特征值对应的特征向量组成 W,再令 z_i = Wᵀx_i。
由此也能看出维度上限的根源:S_b 是 K 个秩一矩阵之和,秩最多为 K−1,S_w⁻¹S_b 的非零特征值最多 K−1 个,所以 LDA 降维后 N′ ≤ K−1。类别只有 3 类时,最多降到 2 维,想要更高维就只能换方法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.3.1 LDA原理推导 · 查看原书依据
和上面不同的是,这里WT Sb W和WT Sw W都是矩阵,不是标量,我们想办法来构造一个标量。有多种构造方式,一般我们选择
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文定义类内/类间散度矩阵与比值目标 J(w),指出它是广义瑞利熵、最大值对应 S_w⁻¹S_b 的最大特征值,二分类可化为 w∝S_w⁻¹(μ₂−μ₁),多分类用对角元之积构造标量后取前 N′ 个特征向量。
- 原始内容:和上面不同的是,这里WT Sb W和WT Sw W都是矩阵,不是标量,我们想办法来构造一个标量。有多种构造方式,一般我们选择