知识卡片

问题卡 · 6644.a.1.r · 生成模型:未记录

平滑估计器必须匹配事件形状

理解等级:中级

书中KneserNeyProbDist实现要求三元组频率表,不代表Kneser–Ney思想只能用于trigram。把HMM观测与状态改成三元组后,状态空间、样本任务与前一实验均改变,0.86%不能直接与原单词标签准确率比较。更不能把这个特殊估计器塞进任意单项计数;先检查其训练和prob所需的事件结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。 - 结论依据:原文将词和标签同时组为trigram又重建90/10样本;官方现行lm包含可设阶数的KneserNeyInterpolated,支持实现范围与思想区别。2026-11-06核对官方资料:https://www.nltk.org/api/nltk.lm.html。未在本机运行示例或改变环境。 - 原始内容: = lambda fd, bins: KneserNeyProbDist(fd) >>> train_and_test(kn) 0.86%