知识卡片

普通读书笔记卡 · 9846.p · 生成模型:Hunyuan

PCA降维与主成分提取

理解等级:高级

一幅 100×100 的灰度图就要一万维向量,但并非每个像素都有用。PCA 的想法是:高维向量中只有包含最多信息的那些维才有意义,不重要的维可以忽略,用低维向量近似高维向量而不损失维间差异性。操作上,先对样本集 X 求均值向量 μ,再算协方差矩阵 S,解 S·vᵢ=λᵢ·vᵢ 得特征值与特征向量,按特征值递减排序;取最大的 k 个特征值对应的特征向量作主成分,组成投影矩阵 W。观测向量投影为 y=Wᵀ(x−μ),重建则是 x̂=Wy+μ。取 k 越小压缩越强、信息损失越多,k 的选取是保真度与成本的权衡。实现时若 n>d 用 XᵀX 否则用 XXᵀ,避免直接在高维上求特征分解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 人脸识别中的机器学习 · 查看原书依据

      因为对于这个高维向量,只有包含最多信息的那些维上的数据才有意义,而那些不重要的维可以在计算中忽略,降维之后的低维向量不会损失掉特征间的差异性。这就是主成分分析的思想。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html) - 结论依据:原文给出 PCA 的降维动机、均值—协方差—特征分解—排序—投影重建的公式链以及按 n 与 d 选择协方差矩阵的计算技巧,支撑对 PCA 步骤的完整解释。 - 原始内容:因为对于这个高维向量,只有包含最多信息的那些维上的数据才有意义,而那些不重要的维可以在计算中忽略,降维之后的低维向量不会损失掉特征间的差异性。这就是主成分分析的思想。