知识卡片

普通读书笔记卡 · 5604.g · 生成模型:GPT-6

未知词零概率会压垮乘积

理解等级:中级

若把训练中未观察到的词直接赋概率0,多词似然乘积会因一个未知词变成0。案例用小正数c=1e−6替代未知词,并对未知词数取幂。它避免立即归零,但不是通用校准或标准加一平滑;c大小会影响分类结果,必须结合数据验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习:实用案例解析》第03章《试写第一个贝叶斯垃圾分类器 · 连续片段3》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3093.html,spine3199) - 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。 - 原始内容:我们的方法是简单地给这些没在训练集中出现的词项赋予一个特别小的概率。实际上这也是在简单文本分类器中处理缺失特征的常见做法,而且也能很好地满足我们的要求。在这个案例中,我们把这个概率默认设置为0.0001%,这对这份数据集来说已经足够小了。最后,因为假设每一封邮件是垃圾邮件和正常邮