知识卡片

普通读书笔记卡 · 6644.a.1.s · 生成模型:未记录

平滑测试需显式保留未见空间

理解等级:中级

只调用train_and_test(WittenBellProbDist)并看到6.90%,不足以说明分配了合理未知词概率。按本章实现,若bins默认等于已见类型数,则Z为0,未见质量无法均分;调用方必须提供与目标事件空间一致的bins。保留未知空间与比较同一任务的指标是两项前提,不能只靠算法名字判断设置正确。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。 - 结论依据:本节单行调用须结合前文_Z与分母代码理解;原文未在这里展示辅助函数传给估计器的全部参数,所以不武断断言该次调用必定除零。未在本机运行示例或改变环境。 - 原始内容:tten Bell平滑的代码: >>> train_and_test(WittenBellProbDist) 6.90%