← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9631.m · 生成模型:DeepSeek-V4.1-Flash

方差不等边界就变弯

理解等级:高级

若允许各类协方差不同 Σk≠Σ,LDA 中使二次项与常数项约简的条件不再成立,x 的二次项保留,得到二次判别分析 QDA,判别函数含 xᵀΣk⁻¹x 项,两类的边界 {x:δk(x)=δl(x)} 是二次曲线(椭球、双曲面等)而不是超平面。代价是参数激增:只有判别函数之差 δk−δK 起作用,LDA 需估 (K−1)(p+1) 个参数;QDA 每个类都要单独估 p×p 协方差,需 (K−1)[p(p+3)/2+1] 个,p 大时增长极快。因此 QDA 偏差小、方差大,样本少或维数高时容易过拟合;LDA 形式简洁、偏差稍大但方差低,总体准确率往往更高。这也是 [[正则化在LDA与QDA之间]] 的动机。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性分类方法 · 查看原书依据

      假设各个类别的Σk不相等,那么式(3.8)的约简将不再成立,关于x 的二次项保留在公式中。我们得到的二次判别函数(quadratic discriminant analysis, QDA)为: 可以看到,对于类别k和l,此边界 {x:δk(x)=δl(x)}为关于x的二次函数,这是一个曲线边界。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0003.xhtml,3.3.2 二次判别函数和正则化判别函数) - 结论依据:原文说明各类协方差不等时约简不再成立、二次项保留,边界为二次函数,并给出 LDA 与 QDA 需要估计的参数个数以及二者在偏差与方差上的差别。 - 原始内容:假设各个类别的Σk不相等,那么式(3.8)的约简将不再成立,关于x 的二次项保留在公式中。我们得到的二次判别函数(quadratic discriminant analysis, QDA)为: 可以看到,对于类别k和l,此边界 {x:δk(x)=δl(x)}为关于x的二次函数,这是一个曲线边界。