知识卡片
平滑测试需显式保留未见空间
只调用train_and_test(WittenBellProbDist)并看到6.90%,不足以说明分配了合理未知词概率。按本章实现,若bins默认等于已见类型数,则Z为0,未见质量无法均分;调用方必须提供与目标事件空间一致的bins。保留未知空间与比较同一任务的指标是两项前提,不能只靠算法名字判断设置正确。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 统计语言建模 2.2.4 Witten Bell平滑 · 查看原书依据
train_and_test(WittenBellProbDist)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。
- 结论依据:本节单行调用须结合前文_Z与分母代码理解;原文未在这里展示辅助函数传给估计器的全部参数,所以不武断断言该次调用必定除零。未在本机运行示例或改变环境。
- 原始内容:tten Bell平滑的代码: >>> train_and_test(WittenBellProbDist) 6.90%