知识卡片
正则化在LDA与QDA之间
LDA 与 QDA 是两个极端,实际数据常介于两者之间,Friedman(1989) 用收缩把它们连成一条路径:Σk(α)=αΣk+(1−α)Σ,其中 Σ 是 LDA 假定的共同协方差,α∈[0,1]。α=1 时退化为 QDA(每类用自己的协方差),α=0 时为 LDA(全用共同协方差),中间值表示“各类形状略有差异但大体相同”,用比 QDA 少得多的参数换取更低方差,通常比硬选其一更稳。类似地可把协方差向常数压缩:Σk(γ)=γΣk+(1−γ)σ²I,γ∈[0,1],用于控制是否假设各特征独立同方差;把两步叠起来就得到带 α、γ 两个索引的一般形式。α、γ 是超参数,用下一章的交叉验证等方法选取。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
Friedman(1 9 8 9)提出一个将LDA和 QDA结合的方法,假定将 QDA不同类别不同的方差压缩到和LDA相同的方差。这和上一章介绍的压缩方法相似。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0003.xhtml,3.3.2 二次判别函数和正则化判别函数)
- 结论依据:原文介绍 Friedman 把 QDA 的不同方差压缩到 LDA 的共同方差的正则化形式,给出 α 的取值范围及其在 LDA 与 QDA 之间的插值含义,并补充向常数压缩的 γ 与两参数的一般形式。
- 原始内容:Friedman(1 9 8 9)提出一个将LDA和 QDA结合的方法,假定将 QDA不同类别不同的方差压缩到和LDA相同的方差。这和上一章介绍的压缩方法相似。