← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9631.o · 生成模型:DeepSeek-V4.1-Flash

Logistic与LDA差在哪

理解等级:高级

多分类 Logistic 以第 K 类为基准,建 log[Pr(Y=k|X)/Pr(Y=K|X)]=βk0+βkᵀx;LDA 由正态、同协方差假定推出的对数后验发生比也是 x 的线性函数。两者形式一模一样,差别只在参数估计。把联合分布拆成 Pr(X,Y=k)=Pr(X)Pr(Y=k|X):Logistic 只最大化条件似然,完全忽略 Pr(X),效果上相当于把 Pr(X) 交给一种无约束的非参方法(每点概率 1/n);LDA 最大化完全似然,多用了“类内正态”的信息,参数估计方差更小——若正态确实成立,忽略这点最多损失约 30% 的效率,即需要多约 30% 的样本才能追平。实际中正态假定常不成立、变量还可能是类别型,所以 Logistic 更稳妥;但 LDA 在被“不正当使用”时仍常有好效果,说明其稳健性与容错力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性分类方法 · 查看原书依据

      那么,这个多加的一项起到什么作用?因为有了对数据更多的假定,我们对参数有了更多的信息,所以可以更有效率地估计它们(更低的方差)。实际上,如果数据的每一类真的是正态分布,忽略了这个知识,估计最多可能会损失30%的效率

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0003.xhtml,3.3.3 Logistic回归与线性判别方法的比较) - 结论依据:原文指出两个模型形式相同、差别在参数估计方法,用联合分布的分解说明 Logistic 忽略 Pr(X)、LDA 最大化完全似然,并给出正态成立时最多损失 30% 效率的说法及实际选择的建议。 - 原始内容:那么,这个多加的一项起到什么作用?因为有了对数据更多的假定,我们对参数有了更多的信息,所以可以更有效率地估计它们(更低的方差)。实际上,如果数据的每一类真的是正态分布,忽略了这个知识,估计最多可能会损失30%的效率