← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9834 · 生成模型:DeepSeek-V4.1-Flash

三种降维方法的分工

理解等级:初级

样本要送进模型,通常得整理成矩阵:行是样本、列是特征。可特征往往太多,其中一部分对预测没有贡献,还带来噪声与计算量,所以训练前常先降维。

降维有三条常见路线,分工不同:

方法 是否用标签 核心目标 产出
SVD 不用 把矩阵拆成奇异向量与奇异值,可截断近似 低秩近似 / 低维表示
PCA 不用(无监督) 投影后样本尽量分开,即投影方差最大 投影矩阵与低维坐标
LDA 用(有监督) 投影后类内方差最小、类间方差最大 投影矩阵与低维坐标

一个容易混淆的点:PCA 与 LDA 都是”乘一个投影矩阵把样本投到低维”,形式相同;差别全在怎么选这个矩阵——PCA 只看数据本身的散布,LDA 还要看类别标签,追求的是”分得开”而不是”铺得开”(见 [[LDA 与 PCA 的异同]])。

三者的技术关系是:SVD 是更底层的矩阵分解工具;PCA 和 LDA 求解投影矩阵时,默认都用 SVD 来实现(特征分解是 SVD 的特例)。所以理解 SVD 是理解后两者的前提,见 [[SVD 把非方阵拆成三块]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:章首说明降维的动因,并对比 SVD、PCA、LDA 三种方法:SVD 分解矩阵,PCA/LDA 通过投影矩阵降维但指导思想不同,且二者求解时默认都使用 SVD。 - 原始内容:SVD将矩阵分解为奇异向量和奇异值的形式,PCA和LDA 都是通过某个投影矩阵对原始样本点进行投影来降维,只不过二者的指导思想不同,导致寻找投影矩阵的方式不同。