知识卡片
贝叶斯分类器是误差下界
期望预测误差 EPE=E[L(Y,f(X))],L 是损失函数,期望对 (X,Y) 的联合分布求;把期望拆成“先对 Y|X 求条件期望、再对 X 求期望”后,最小化 EPE 可以逐点进行:对每个 x 只要让条件损失最小即可,与别的 x 无关。分类中常用的损失是 0—1 损失(判错记 1、判对记 0,即分类误差),此时逐点最优解为把 x 判给 Pr(Y=k|X=x) 最大的类,即贝叶斯分类器;它的错误率称 Bayes rate,是任何分类器在该分布下都无法再低的理论下界。示例:某 x 处正类后验为 0.7,则判正类,该点最小条件误差为 0.3。本章所有方法都可看作在有限样本与各种假定下逼近这条下界。
结构图:
flowchart TD
A["0-1 损失 L"] --> B["EPE 对联合分布求期望"]
B --> C["按 x 逐点最小化条件误差"]
C --> D["判给后验概率最大的类"]
D --> E["贝叶斯分类器与 Bayes rate"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
在分类中,常用的损失函数为0—1损失: 0—1损失实际上是分类器的分类误差。这时模型的估计为: 也可以写成 这个解叫做贝叶斯分类器(Bayes classifier),表明我们根据条件分布Pr(y|X=x)将样本点判断为最可能(概率最大)的类别。贝叶斯分类器的误差称为Bayes rate。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0001.xhtml,3.1.1 分类问题)
- 结论依据:原文由 EPE 的条件形式推出逐点最优,给出 0—1 损失下的解并命名为贝叶斯分类器,同时说明其误差称为 Bayes rate。
- 原始内容:在分类中,常用的损失函数为0—1损失: 0—1损失实际上是分类器的分类误差。这时模型的估计为: 也可以写成 这个解叫做贝叶斯分类器(Bayes classifier),表明我们根据条件分布Pr(y|X=x)将样本点判断为最可能(概率最大)的类别。贝叶斯分类器的误差称为Bayes rate。