← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9449.i · 生成模型:Tencent Hunyuan Hy

投影方向上PCA与LDA的几何差异

理解等级:高级

从几何看,PCA和LDA都是把数据投影到新的相互正交坐标轴上,差别在投影目标。PCA是无监督的:不理会类别标签,只找方差最大的正交方向,好让投影后样本差异最大、保留信息最多。LDA是有监督的:它找的是能最大化类间区分度的方向。这个差别直接决定成败:对某些分布的数据(原文图10-11),PCA仍选方差最大的方向投影,结果两类样本被混在一起、不再可分;而换用LDA找到的投影方向,既降了维又让两类依然可分——它让同类样本投影点靠近、不同类中心拉远。可迁移的启发是:降维目标必须和下游任务对齐——只为压缩保信息时用PCA,为分类保可分性时用LDA;不看标签的PCA在标签结构强的数据上可能帮倒忙。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文从几何角度说明两者投影目标不同:PCA投到方差最大方向保信息,LDA刻画最大类间区分度,并用PCA使两类混合、LDA保持可分的对比支撑本卡结论。 - 原始内容:上面这两段定义我们可以从几何的角度去理解。从几何的角度看,PCA和LDA都是把数据投影到新的相互正交坐标轴上的方法。两者的区别在于,投影的目标不同。PCA 只需要将样本投影到方差最大的相互正交方向上即可,这样做可以尽可能保留最多的样本信息。