知识卡片
LDA 与 PCA 的异同
两者形式几乎一样——都是乘一个投影矩阵把样本投到低维,甚至求解时都用矩阵的特征分解、默认都假设样本服从高斯分布。真正的差别只有一条源头:要不要用标签。
不同点
| LDA | PCA | |
|---|---|---|
| 监督性 | 有监督,必须用类别标签 | 无监督,不用标签 |
| 优化目标 | 类内方差最小、类间方差最大,选分类性能最好的方向 | 投影方差最大,选数据散布最广的方向 |
| 降维维度 | 受类别数限制:N′ ≤ k−1 | 无此限制 |
| 附加能力 | 稍加改造还能直接分类 | 只能降维/重构 |
第三点是硬约束,来源很清楚:类间散度矩阵 S_b 由 K 个秩一矩阵相加,秩最多为 K−1,因此最多只有 K−1 个非零特征值可用。3 类问题想降到 4 维,LDA 在数学上就做不到,只能改用 PCA 或核方法。
相同点:都能降维;都用特征分解求投影矩阵;都默认数据服从高斯分布。
怎么选:如果下游是分类任务、标签齐全,LDA 通常更合适——它优化的正是”分得开”,而 PCA 只看”铺得开”,最大方差方向未必是判别方向(见 [[PCA 找一条最能分开的轴]])。如果标签缺失,或降维目标不是分类(可视化、压缩、去噪、特征抽取),就用 PCA。原文在 Iris 上的对比也说明:4 维降到 2 维,两者都保持了类别区分度,因为该数据集的主要方差方向恰好也是判别方向——这种”恰好一致”不能当作普遍规律。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.3.2 LDA与PCA的比较 · 查看原书依据
(1)LDA降维利用了样本的类别信息,属于一种有监督学习方法,而PCA是无监督的。
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:原文以"不同点/相同点"两节列出四条差异(监督性、核心思想、维度限制、可否分类)与三条共性(都能降维、都用特征分解、都假设高斯),并说明 N′≤k−1 的来源。
- 原始内容:(1)LDA降维利用了样本的类别信息,属于一种有监督学习方法,而PCA是无监督的。……(3)LDA降维后的维度有限制,必然小于类别总数,即N'≤k−1,而PCA无该限制。(4)LDA不仅可以进行降维,稍加改造还可以用于分类。