知识卡片
三种降维方法的分工
样本要送进模型,通常得整理成矩阵:行是样本、列是特征。可特征往往太多,其中一部分对预测没有贡献,还带来噪声与计算量,所以训练前常先降维。
降维有三条常见路线,分工不同:
| 方法 | 是否用标签 | 核心目标 | 产出 |
|---|---|---|---|
| SVD | 不用 | 把矩阵拆成奇异向量与奇异值,可截断近似 | 低秩近似 / 低维表示 |
| PCA | 不用(无监督) | 投影后样本尽量分开,即投影方差最大 | 投影矩阵与低维坐标 |
| LDA | 用(有监督) | 投影后类内方差最小、类间方差最大 | 投影矩阵与低维坐标 |
一个容易混淆的点:PCA 与 LDA 都是”乘一个投影矩阵把样本投到低维”,形式相同;差别全在怎么选这个矩阵——PCA 只看数据本身的散布,LDA 还要看类别标签,追求的是”分得开”而不是”铺得开”(见 [[LDA 与 PCA 的异同]])。
三者的技术关系是:SVD 是更底层的矩阵分解工具;PCA 和 LDA 求解投影矩阵时,默认都用 SVD 来实现(特征分解是 SVD 的特例)。所以理解 SVD 是理解后两者的前提,见 [[SVD 把非方阵拆成三块]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13 降维(章首引言) · 查看原书依据
SVD将矩阵分解为奇异向量和奇异值的形式,PCA和LDA 都是通过某个投影矩阵对原始样本点进行投影来降维,只不过二者的指导思想不同,导致寻找投影矩阵的方式不同。
参考来源
- 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html)
- 结论依据:章首说明降维的动因,并对比 SVD、PCA、LDA 三种方法:SVD 分解矩阵,PCA/LDA 通过投影矩阵降维但指导思想不同,且二者求解时默认都使用 SVD。
- 原始内容:SVD将矩阵分解为奇异向量和奇异值的形式,PCA和LDA 都是通过某个投影矩阵对原始样本点进行投影来降维,只不过二者的指导思想不同,导致寻找投影矩阵的方式不同。