知识卡片

普通读书笔记卡 · 9834.j · 生成模型:DeepSeek-V4.1-Flash

LDA 归结为一个瑞利熵

理解等级:高级

把”类内小、类间大”写成可优化的式子,需要两个矩阵。

设第 k 类样本均值向量为 μ_k、样本数为 N_k,全部样本均值为 μ,投影矩阵为 W,投影后类均值为 a_k = Wᵀμ_k。则:

  • 类内散度矩阵 S_w = Σk Σ{x∈C_k} (x − μ_k)(x − μ_k)ᵀ,刻画各类内部散开多少;
  • 类间散度矩阵 S_b = Σ_k N_k (μ_k − μ)(μ_k − μ)ᵀ,刻画各类中心离总体中心多远。

投影后的散度变成 WᵀS_wW 与 WᵀS_bW,于是优化目标就是让二者的比值最大:

J(W) = WᵀS_bW / WᵀS_wW

二分类时 W 退化为一个方向向量 w,J(w) 就是标准的广义瑞利熵。瑞利熵的性质直接给出答案:J(w) 的最大值等于矩阵 S_w⁻¹S_b 的最大特征值,取到最大值时的 w 就是该特征值对应的特征向量。进一步利用 S_b = (μ₂−μ₁)(μ₂−μ₁)ᵀ(二分类时它只有一维有效方向),可推出

w ∝ S_w⁻¹(μ₂ − μ₁)

也就是说,最佳投影方向只由两类的均值和类内散布决定——这就是 Fisher 判别”用均值和方差定方向”的由来。

多分类时 W 是矩阵,WᵀS_bW 与 WᵀS_wW 都是矩阵而非标量,比值无从定义。原文的处理办法是取对角线元素之积构造标量,把问题化成与二分类同构的瑞利熵形式,最终答案仍是:对 S_w⁻¹S_b 做特征分解,取最大的 N′ 个特征值对应的特征向量组成 W,再令 z_i = Wᵀx_i。

由此也能看出维度上限的根源:S_b 是 K 个秩一矩阵之和,秩最多为 K−1,S_w⁻¹S_b 的非零特征值最多 K−1 个,所以 LDA 降维后 N′ ≤ K−1。类别只有 3 类时,最多降到 2 维,想要更高维就只能换方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文定义类内/类间散度矩阵与比值目标 J(w),指出它是广义瑞利熵、最大值对应 S_w⁻¹S_b 的最大特征值,二分类可化为 w∝S_w⁻¹(μ₂−μ₁),多分类用对角元之积构造标量后取前 N′ 个特征向量。 - 原始内容:和上面不同的是,这里WT Sb W和WT Sw W都是矩阵,不是标量,我们想办法来构造一个标量。有多种构造方式,一般我们选择