← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9825.d · 生成模型:DeepSeek-V4.1-Flash

后验最大等价风险最小

理解等级:高级

朴素贝叶斯”取后验概率最大的类”看起来是一条人为约定,实际是 0-1 损失下的最优决策。

设定。分类决策函数记作 f(X),它给出预测类别;真实类别是 Y。0-1 损失定义为:f(X)=Y 时损失为 0,f(X)≠Y 时损失为 1。写成指示函数就是 L = I(f(X)≠Y)。

期望风险。对某个具体输入 x,把损失对 Y 求期望:

R(f|x) = 1 − P(Y=f(x)|X=x)

也就是”预测错这件事发生的概率”。让风险最小的做法,就是在所有候选类别里挑那个使 P(Y=c|X=x) 最大的 c。

结论。逐点最小化上式 ⟺ 最大化 P(Y=f(X)|X),即后验概率最大化。逐点最优自然全局最优,所以”最大后验”这条分类规则等价于最小化期望风险。

这个结论买到了什么。它把朴素贝叶斯从一个”按直觉设计的算法”升级成一种贝叶斯决策:只要 0-1 损失符合业务,规则就是最优的,剩下的误差只来自概率估计不准(条件独立假设、平滑、样本量)。这也解释了为什么改进朴素贝叶斯的方向几乎都在概率估计上,而不是在决策规则上——规则已经是最优解。

边界。等价关系强依赖 0-1 损失。若错分代价不对称——比如漏判垃圾邮件只是多看一眼,误杀正常邮件可能丢掉合同——最优决策就变成带权损失下的比较:P(垃圾)×C_漏 与 P(正常)×C_误,阈值不再是 0.5。这时直接取最大后验反而会系统性出错。

第 5 章的[[多数表决等价风险最小]]是同一套论证的另一个版本,区别只在”概率”由邻居投票近似,而非由分布假设计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第4章《朴素贝叶斯》4.2.3 后验概率最大化的含义(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html) - 结论依据:原文取 0-1 损失函数,写出期望风险后化简,得出最大化后验概率相当于最小化期望风险,并据此说明方法的合理性。 - 原始内容:从上面的原理分析可知,朴素贝叶斯其实是将实例xi分到了后验概率P(Y=ck|X=xi)最大的类中。其实这与风险函数最小化是一致的,下面进行证明。……即当取0-1损失函数时,朴素贝叶斯的最大化后验概率其实相当于最小化期望风险原则