知识卡片

普通读书笔记卡 · 9449.f · 生成模型:Tencent Hunyuan Hy

PCA投影保留最大方差

理解等级:中级

主成分分析(PCA)是最常用的线性降维方法:用较少的特征描述样本,把高维向量x经特征向量矩阵U投影到低维空间得到y,只损失次要信息。它的本质是空间映射——把数据从原正交坐标系换到新的正交坐标系,投到低维子空间:二维数据投成一条线(每个样本一个值),三维投成一个平面,一般n维降到k维(k≤n)。关键问题是怎么选投影方向。原文借摄影师拍鼠标说明要从多个角度挑最能表达特点的那个;在数学上,则让投影后数据相距尽量远、方差尽量大——因为信号处理里认为信号方差大、噪声方差小,信噪比越大越好。于是PCA把方差最大的方向称为第一主成分,依次取正交且方差递减的方向作为后续主成分。可迁移的启发是:当你要在损失最小的前提下压缩信息,优先保住数据变化最剧烈的方向。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 透过现象看本质,全靠降维来帮忙 10.3.1 PCA原理 · 查看原书依据

      从本质上讲,PCA 是一种空间映射的方法。将一个在二维坐标系中的变量通过矩阵变换操作映射到另一个正交坐标系中,也就是将数据投射到一个低维子空间实现降维。例如,二维数据集降维就是把平面上的点投射成一条线,数据集的每个样本只需要用一个值就可以表示,不再需要两个值。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文把PCA定义为空间映射,并用c线方差最大即主成分、信噪比越大越好的论述,说明PCA以最大方差方向为投影目标,支撑本卡结论。 - 原始内容:从本质上讲,PCA 是一种空间映射的方法。将一个在二维坐标系中的变量通过矩阵变换操作映射到另一个正交坐标系中,也就是将数据投射到一个低维子空间实现降维。例如,二维数据集降维就是把平面上的点投射成一条线,数据集的每个样本只需要用一个值就可以表示,不再需要两个值。