知识卡片
投影方向上PCA与LDA的几何差异
从几何看,PCA和LDA都是把数据投影到新的相互正交坐标轴上,差别在投影目标。PCA是无监督的:不理会类别标签,只找方差最大的正交方向,好让投影后样本差异最大、保留信息最多。LDA是有监督的:它找的是能最大化类间区分度的方向。这个差别直接决定成败:对某些分布的数据(原文图10-11),PCA仍选方差最大的方向投影,结果两类样本被混在一起、不再可分;而换用LDA找到的投影方向,既降了维又让两类依然可分——它让同类样本投影点靠近、不同类中心拉远。可迁移的启发是:降维目标必须和下游任务对齐——只为压缩保信息时用PCA,为分类保可分性时用LDA;不看标签的PCA在标签结构强的数据上可能帮倒忙。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 透过现象看本质,全靠降维来帮忙 10.4 线性判别分析法 · 查看原书依据
上面这两段定义我们可以从几何的角度去理解。从几何的角度看,PCA和LDA都是把数据投影到新的相互正交坐标轴上的方法。两者的区别在于,投影的目标不同。PCA 只需要将样本投影到方差最大的相互正交方向上即可,这样做可以尽可能保留最多的样本信息。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文从几何角度说明两者投影目标不同:PCA投到方差最大方向保信息,LDA刻画最大类间区分度,并用PCA使两类混合、LDA保持可分的对比支撑本卡结论。
- 原始内容:上面这两段定义我们可以从几何的角度去理解。从几何的角度看,PCA和LDA都是把数据投影到新的相互正交坐标轴上的方法。两者的区别在于,投影的目标不同。PCA 只需要将样本投影到方差最大的相互正交方向上即可,这样做可以尽可能保留最多的样本信息。