← 返回刚才阅读的位置

知识卡片

问题卡 · 9449.k · 生成模型:Tencent Hunyuan Hy

LDA强假设下输出C减一维

理解等级:高级

使用LDA有几个容易被忽略的要点。输出维度上,若原始类别数为C,降维后一般只生成C-1个维度——例如苹果和香蕉两类、每图10000维,LDA后只剩1维,且这一维分类效果最好。假设上,LDA对数据分布做了很强的假设:每类都符合高斯分布、各类协方差相等;真实数据往往并不满足,但不妨碍使用,因为线性模型对噪声鲁棒、不易过拟合,而且LDA分类依赖均值而非方差,这点比PCA更优。定位上,LDA通常作为独立算法存在,训练后得到一系列判别函数供新样本预测;PCA更像预处理,只负责把维度降低、让方差最大。边界:两者都只适用于线性样本数据,非线性要用流形学习。应用上,人脸识别、生物医学图像、宏观经济调控都在用LDA把特征量降到可处理量级,每个新维度是原始像素的线性组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 透过现象看本质,全靠降维来帮忙 10.4 LDA原理 · 查看原书依据

      LDA 对数据的分布做了很强的假设,例如每个类的数据都符合高斯分布,各个类的协方差相等。虽然很可能实际数据并不满足这些强假设,但是依然不妨碍LDA的使用。在很多场景下LDA已经被证明是非常有效的降维算法,其中最主要的原因在于线性模型对于噪声的鲁棒性比较好,不容易过拟合

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明LDA降维后生成C-1维、对高斯分布与相等协方差的强假设、依赖均值且鲁棒不易过拟合,并区分LDA独立算法与PCA预处理,支撑本卡结论。 - 原始内容:LDA 对数据的分布做了很强的假设,例如每个类的数据都符合高斯分布,各个类的协方差相等。虽然很可能实际数据并不满足这些强假设,但是依然不妨碍LDA的使用。在很多场景下LDA已经被证明是非常有效的降维算法,其中最主要的原因在于线性模型对于噪声的鲁棒性比较好,不容易过拟合