知识卡片
平滑估计器必须匹配事件形状
书中KneserNeyProbDist实现要求三元组频率表,不代表Kneser–Ney思想只能用于trigram。把HMM观测与状态改成三元组后,状态空间、样本任务与前一实验均改变,0.86%不能直接与原单词标签准确率比较。更不能把这个特殊估计器塞进任意单项计数;先检查其训练和prob所需的事件结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 统计语言建模 2.2.3 Kneser Ney平滑 · 查看原书依据
KneserNeyProbDist(fd)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。
- 结论依据:原文将词和标签同时组为trigram又重建90/10样本;官方现行lm包含可设阶数的KneserNeyInterpolated,支持实现范围与思想区别。2026-11-06核对官方资料:https://www.nltk.org/api/nltk.lm.html。未在本机运行示例或改变环境。
- 原始内容: = lambda fd, bins: KneserNeyProbDist(fd) >>> train_and_test(kn) 0.86%