← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9834.i · 生成模型:DeepSeek-V4.1-Flash

LDA 让类间远类内近

理解等级:中级

线性判别分析(LDA,又称 Fisher 线性判别)与 PCA 形式相同——都是找一个投影矩阵 W,用 z_i = Wᵀx_i 把样本投到低维;差别在于它使用类别标签,是有监督降维。

一句话概括它的思想:投影后类内方差最小,类间方差最大。也就是希望同类样本投影后挤在一起,不同类的中心离得越远越好。

为什么需要这个思想,看二维降一维的例子就明白:两个候选方向都能把数据压到一条直线上,但用第一个方向投完,红蓝两类有一部分互相混叠,无法区分;用第二个方向投完,两类清楚地分开。可分类性取决于方向,而 LDA 就是用标签信息去挑这个方向。

因此 LDA 与 PCA 的目标本来就不同:

  • PCA 追求”铺得开”——只看数据整体散布,谁方差大就留谁,不管这些方差是否与类别有关;
  • LDA 追求”分得开”——衡量标准里带着类内/类间的对比,宁可牺牲一些总方差,也要保住类别的可分性。

一个必须避免的混淆:自然语言处理里的 LDA 是 Latent Dirichlet Allocation(隐含狄利克雷分布),一种文档主题模型,与此处的 Linear Discriminant Analysis 只是缩写相同,没有任何关系。读文献时要靠上下文区分。

LDA 还有一个额外能力:稍加改造就不仅能降维,还能直接用于分类。这也是它比 PCA 更”贴近任务”的地方(详见 [[LDA 与 PCA 的异同]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 降维 13.3 线性判别分析 · 查看原书依据

      用一句话概括LDA的思想就是:投影后类内方差最小,类间方差最大。即我们要将数据投影到低维空间,并希望投影后每一种类别数据的投影点尽可能接近,而不同类别数据的类别中心之间的距离尽可能的大。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文指出 LDA 与 PCA 一样基于投影矩阵降维,但需利用类别信息、属有监督方法;用不同投影矩阵的对比图说明"能否分开"取决于方向,并强调要与 NLP 中的 Latent Dirichlet Allocation 区分。 - 原始内容:用一句话概括LDA的思想就是:投影后类内方差最小,类间方差最大。即我们要将数据投影到低维空间,并希望投影后每一种类别数据的投影点尽可能接近,而不同类别数据的类别中心之间的距离尽可能的大。