知识卡片

普通读书笔记卡 · 9633.h · 生成模型:DeepSeek-V4.1-Flash

多数投票为何有效的条件

理解等级:高级

把投票说清楚需要一个概率框架。令 Q(j|x) 表示基分类器把 x 判为第 j 类的概率(对训练集反复独立抽样得到的分布),P(j|x) 是 x 真实属于第 j 类的概率。若在每一点,真实概率最大的类恰好也是 Q 最大的类,就称该分类器在该点 Order-correct。这个条件只保证“排序正确”,不保证准确率高:若 P(1|x)=0.9、P(2|x)=0.1,而分类器给出 Q(1|x)=0.6、Q(2|x)=0.4,它仍是 Order-correct,但准确率只有 0.9×0.6+0.1×0.4=0.58。神奇之处在于组合:若分类器在几乎所有点都 Order-correct,则多数投票后的 H_agg 准确率趋近贝叶斯最优;只要在多数点上满足该条件,组合就接近最优。这解释了为什么单个不算强的树,投票后能显著变好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.2 理论分析) - 结论依据:原文定义 Q(j|x)、贝叶斯分类器与 Order-correct,并用 0.9/0.1 与 0.6/0.4 的二分类例子算出 0.58,说明满足该条件的分类器组合后可达最优。 - 原始内容:若分类器H 满足Q(1|x)=0.6, Q(2|x)=0.4,根据定义我们知道 H 为 Order-correct 分类器,但是其准确分类的概率只有0.9 × 0.6+0.1 ×0.4=0.5 8。