知识卡片

普通读书笔记卡 · 9771.b · 生成模型:DeepSeek-V4.1-Flash

对数求和替代连乘防下溢

理解等级:中级

一封邮件几百个词,每个条件概率都小于 1,连乘的结果很快落到 1e-300 以下,浮点数直接变成 0,两类的得分都归零,比较就失去意义。这是下溢,不是模型算错,而是数值表示范围不够。

解法是利用 log(abc)=log a+log b+log c,把连乘换成对数相加,比较完再取指数还原。实现上对词汇表中每个词分别处理:邮件里出现该词,就累加 log P(词|类);没出现,就累加 log(1-P(词|类))——后者同样是证据,“缺少某个典型垃圾词”会拉低垃圾得分。两类各得一个对数和,取指数后相除得到 P(垃圾|文本)。要注意对数域把“概率恰为 0”放大成负无穷,一个零就毁掉整条累加链,这正是需要平滑的直接原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学入门(第2版)》第13章 朴素贝叶斯算法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0017.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在实践中,你通常希望避免将大量概率相乘,以防止所谓的下溢(under?ow)问题……」 - 原始内容:在实践中,你通常希望避免将大量概率相乘,以防止所谓的下溢(under?ow)问题,因为计算机不擅长处理非常接近于 0 的浮点数。