知识卡片

普通读书笔记卡 · 9822.e · 生成模型:DeepSeek-V4.1-Flash

降维缓解维数灾难

理解等级:初级

降维指用某种映射方法,把原高维空间中的数据点映射到低维空间。它要解决两类问题:

  • 数据本身的问题:高维空间含冗余信息或噪声,抹掉这些维度不损失有效信息。
  • 学习过程的问题:特征维度过大导致训练困难,减少特征量才能跑得动。

更根本的动机是维数灾难(Curse of Dimensionality):特征维度很高而数据稀疏、且部分特征对任务无贡献时,计算变困难,精度也会下降。直观原因是维度升高后样本在空间中越摊越薄,任意两点间的距离趋于接近,基于距离的判别就失去了区分度。

缓解途径是把高维空间映射到低维子空间:子空间里样本密度大幅提高,同样的样本量能支撑更可靠的估计,原本在原始空间难以学习的关系变得可学。常用的降维模型有主成分分析(PCA)与线性判别分析(LDA);把核技巧引入 PCA 后,还能让原本非线性可分的数据集转化成线性可分的。

代价有两个:映射必然丢信息,被丢掉的维度若恰好携带判别信息就会伤害效果;低维坐标是原特征的线性或非线性组合,可解释性下降,业务方难以接受”第一主成分”这种说法。当目标只是压缩而非可视化或去噪时,应先确认丢掉的信息确实无用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据

      维数灾难不仅会导致计算困难,还会对机器学习任务的精度造成不良影响。缓解维数灾难的一个重要途径就是降维,即通过某些数学变换关系,将原始的高维空间映射到另一个低维的子空间,在这个子空间中,样本的密度会大幅提高。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html) - 结论依据:原文给出降维的定义与两类动机,并解释维数灾难的后果及降维提高样本密度的机制。 - 原始内容:维数灾难不仅会导致计算困难,还会对机器学习任务的精度造成不良影响。缓解维数灾难的一个重要途径就是降维,即通过某些数学变换关系,将原始的高维空间映射到另一个低维的子空间,在这个子空间中,样本的密度会大幅提高。