← 返回刚才阅读的位置

知识卡片

结构图卡 · 9631.b · 生成模型:DeepSeek-V4.1-Flash

贝叶斯分类器是误差下界

理解等级:高级

期望预测误差 EPE=E[L(Y,f(X))],L 是损失函数,期望对 (X,Y) 的联合分布求;把期望拆成“先对 Y|X 求条件期望、再对 X 求期望”后,最小化 EPE 可以逐点进行:对每个 x 只要让条件损失最小即可,与别的 x 无关。分类中常用的损失是 0—1 损失(判错记 1、判对记 0,即分类误差),此时逐点最优解为把 x 判给 Pr(Y=k|X=x) 最大的类,即贝叶斯分类器;它的错误率称 Bayes rate,是任何分类器在该分布下都无法再低的理论下界。示例:某 x 处正类后验为 0.7,则判正类,该点最小条件误差为 0.3。本章所有方法都可看作在有限样本与各种假定下逼近这条下界。

结构图:

flowchart TD
  A["0-1 损失 L"] --> B["EPE 对联合分布求期望"]
  B --> C["按 x 逐点最小化条件误差"]
  C --> D["判给后验概率最大的类"]
  D --> E["贝叶斯分类器与 Bayes rate"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性分类方法 · 查看原书依据

      在分类中,常用的损失函数为0—1损失: 0—1损失实际上是分类器的分类误差。这时模型的估计为: 也可以写成 这个解叫做贝叶斯分类器(Bayes classifier),表明我们根据条件分布Pr(y|X=x)将样本点判断为最可能(概率最大)的类别。贝叶斯分类器的误差称为Bayes rate。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0001.xhtml,3.1.1 分类问题) - 结论依据:原文由 EPE 的条件形式推出逐点最优,给出 0—1 损失下的解并命名为贝叶斯分类器,同时说明其误差称为 Bayes rate。 - 原始内容:在分类中,常用的损失函数为0—1损失: 0—1损失实际上是分类器的分类误差。这时模型的估计为: 也可以写成 这个解叫做贝叶斯分类器(Bayes classifier),表明我们根据条件分布Pr(y|X=x)将样本点判断为最可能(概率最大)的类别。贝叶斯分类器的误差称为Bayes rate。