知识卡片
LDA 既能降维也能分类
scikit-learn 里 LDA 在 sklearn.discriminant_analysis.LinearDiscriminantAnalysis,同一个类兼顾降维与分类,这是它区别于 PCA 的实用特点。
关键参数
- n_components:降维后的维数,必须满足 N′ ≤ k−1(k 为类别数),传大了会报错。想降到更高维只能换方法(见 [[LDA 与 PCA 的异同]])。
- solver:求解方式。svd(默认)用奇异值分解,数值最稳、不需要计算 S_w 的逆;lsqr 用最小二乘,适合收缩(shrinkage)场景;eigen 用特征分解,对应原文推导的 S_w⁻¹S_b 特征分解路线。
- tol:SVD 求解器做秩估计时的阈值。
结果怎么读:means_ 是各类均值,covariance_ 是协方差矩阵,xbar_ 是总体均值,scalings_ 是按类中心缩放后的投影系数,explained_variance_ratio_ 与 PCA 同义(各成分方差占比)。分类相关的输出是 coef_(权重)与 intercept_(偏置),classes_ 是类别标签。
方法:fit 训练、transform 降维、fit_transform 一步完成;分类侧有 predict、predict_proba(各类概率)、predict_log_proba(对数概率)、score(平均准确度)。
使用要点:作为降维器时训练必须带标签 y(有监督),这是它与 PCA 接口上最直观的差别;作为分类器时无需再 transform,直接 predict 即可。原文在 Iris 上的用法是先用 fit_transform 把 4 维降到 2 维再画图比较——注意 LDA 的 2 维上限正好来自 3 类数据的 k−1。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 降维
原书出处 · 1 处
- 第13章 降维 13.3.3 LDA应用实例 · 查看原书依据
n_components:降维后的维度N',要求小于样本的类别总数,即N'≤k−1。