知识卡片

普通读书笔记卡 · 6644.a.1.h · 生成模型:未记录

加性平滑必须连同词表归一

理解等级:中级

Lidstone对每个可能结果加γ,概率为(c+γ)/(N+Bγ),其中B是预先约定的可能结果总数,不只是该词频。Laplace取γ=1,ELE取0.5;γ常选0到1但不是定义上只能处于该区间。须对已见和未见项一同处理并把B设对,不能只给某个未知词加数却不改分母;γ越大越向词表上的均匀分布靠近。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。 - 结论依据:原文三类公式与构造代码明确gamma特例和bins检查,支撑总样本空间与分母一致的要求。未在本机运行示例或改变环境。 - 原始内容:概率的公式如下: (c+Gamma)/(N+B*Gamma) 。 这也意味着将 Gamma 加到了每一个可能的样本结果的计数上,并且从给定的频率分布中计算出了MLE: """ SUM_TO_ONE = False def __i