知识卡片

普通读书笔记卡 · 9834.k · 生成模型:DeepSeek-V4.1-Flash

LDA 与 PCA 的异同

理解等级:中级

两者形式几乎一样——都是乘一个投影矩阵把样本投到低维,甚至求解时都用矩阵的特征分解、默认都假设样本服从高斯分布。真正的差别只有一条源头:要不要用标签。

不同点

LDA PCA
监督性 有监督,必须用类别标签 无监督,不用标签
优化目标 类内方差最小、类间方差最大,选分类性能最好的方向 投影方差最大,选数据散布最广的方向
降维维度 受类别数限制:N′ ≤ k−1 无此限制
附加能力 稍加改造还能直接分类 只能降维/重构

第三点是硬约束,来源很清楚:类间散度矩阵 S_b 由 K 个秩一矩阵相加,秩最多为 K−1,因此最多只有 K−1 个非零特征值可用。3 类问题想降到 4 维,LDA 在数学上就做不到,只能改用 PCA 或核方法。

相同点:都能降维;都用特征分解求投影矩阵;都默认数据服从高斯分布。

怎么选:如果下游是分类任务、标签齐全,LDA 通常更合适——它优化的正是”分得开”,而 PCA 只看”铺得开”,最大方差方向未必是判别方向(见 [[PCA 找一条最能分开的轴]])。如果标签缺失,或降维目标不是分类(可视化、压缩、去噪、特征抽取),就用 PCA。原文在 Iris 上的对比也说明:4 维降到 2 维,两者都保持了类别区分度,因为该数据集的主要方差方向恰好也是判别方向——这种”恰好一致”不能当作普遍规律。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文以"不同点/相同点"两节列出四条差异(监督性、核心思想、维度限制、可否分类)与三条共性(都能降维、都用特征分解、都假设高斯),并说明 N′≤k−1 的来源。 - 原始内容:(1)LDA降维利用了样本的类别信息,属于一种有监督学习方法,而PCA是无监督的。……(3)LDA降维后的维度有限制,必然小于类别总数,即N'≤k−1,而PCA无该限制。(4)LDA不仅可以进行降维,稍加改造还可以用于分类。